AIも「ブレインロット」に、低品質データが招く脳損傷リスク

オックスフォード大学が2024年の「Word of the Year（今年の言葉）」に選出した「Brain Rot（ブレインロット）」。これは、インターネット上の低品質なコンテンツを長時間消費することで、人間の認知能力や注意力、記憶力が低下する現象を指すネットスラングです。

しかし、最新のAI研究において、この「ブレインロット」は人間に限った話ではなく、大規模言語モデル（LLM）にも完全に当てはまり、モデルの認知能力に不可逆的な「脳損傷」を与える可能性があることが示されました。

研究の背景：日常的な低品質データの脅威

生成AIの普及に伴い、AIが生成したテキストがネット上にあふれ、それをさらに別のAIが学習するという循環が発生しています。

これまでAIの安全性研究では、「悪意ある攻撃（プロンプトインジェクション）」や「意図的な偽情報の混入」への対策が主流でした。しかし、X（旧Twitter）上でよく見られる「短く、バズりやすいが、知的な価値が極めて低い投稿」のような、悪意はないものの低品質なデータが、長期的・継続的な事前学習（Pre-training）を通じてモデルの根幹的な思考力にどのような影響を与えるかは解明されていませんでした。

実験手法：何をもって「ゴミデータ」とするか

研究チームは、SNS上のデータを以下の二つのアプローチで「ゴミデータ」として定義し、収集しました。

1. エンゲージメント（拡散度）アプローチ（M1） 文字数が30トークン未満と極めて短く、かつ「いいね」「リポスト」「リプライ」の合計数が500以上の投稿を「ゴミ」と判定。対照群として、エンゲージメントは低いが十分な文字数を持つ長文投稿を用意しました。
2. 意味的品質アプローチ（M2） GPT-4o-miniによるスクリーニングと人間のアノテーターによるクロス検証を実施。センセーショナルなクリックベイト（釣りタイトル）、陰謀論、根拠のない愚痴などの低品質な投稿を「ゴミ」と分類。対照群には、学術的・論理的で事実に基づく専門的な解説投稿を用意しました。

対象としたモデル

実験には「Llama 3-8B-Instruct」や「Qwen 2.5」シリーズ（7Bおよび0.5B）など、オープンソースを代表する複数のLLMが使用されました。各モデルに「ゴミデータ」と「対照（高品質）データ」をそれぞれ同等のトークン数で追加学習させた後、同一の指示微調整（SFT）を行い、出力フォーマットの差異による評価バイアスを排除した状態で認知機能の変化を測定しました。

認知能力測定の指標

評価には、以下の4つの高度なベンチマークが使用されました。

• ARC（AI2 Reasoning Challenge）：概念的・論理的推論力を測定するタスク。
• RULER：長文コンテキストにおける記憶力と、複数タスクの並行処理能力を測定。
• HH-RLHF & AdvBench：有害な指示や脱獄プロンプトに対する堅牢性（安全性スコア）。
• TRAIT：心理学のフレームワークに基づくモデルの人格特性評価。

実験結果：「AI脳損傷」の深刻な実態

実験の結果、ゴミデータを大量に学習したモデルには、極めて深刻な認知機能の低下（脳損傷）が見られました。

• 推論力の低下：ARCスコアが平均で23%低下。
• 長文記憶の喪失：RULERにおける長文の文脈理解能力が30%低下。
• 人格の歪み：TRAIT人格テストにおいて、自己愛的（ナシシスト的）および精神病質的（サイコパス的）な特性スコアが顕著に上昇。

特に、「短文で高拡散」のデータ群（M1）を学習したモデルは、安全性スコアが最も著しく低下しました。さらに、損傷には明確な「用量効果（学習量に比例して悪化する現象）」が確認され、ゴミデータの割合が増えるほどエラー率が指数関数的に上昇しました。

推論の省略（思考の飛躍）

エラーとなった回答の詳細分析から、失敗の約70%以上が「思考のショートカット（飛躍）」に起因していることが判明しました。すなわち、本来であれば段階を踏んで論理的に推論（Chain-of-thought）すべき複雑な問題に対し、途中のステップを全てすっ飛ばして、SNSの短文投稿のように唐突に短い結論だけを出力しようとして間違えるというパターンです。これはまさに、ネットサーフィンによって「深く思考する体力」を失った人間のブレインロット現象と見事に一致しています。

回復への挑戦とその限界

研究チームは、この「脳損傷」を負ったLLMを修復するためのアプローチを試みました。

1. 外部フィードバックによる思考再構築 GPT-4o-miniをファシリテーターとして使い、誤答に対して「推論プロセスが飛躍している」とステップごとに指摘を与えるマルチターン対話を試みました。数回の対話でエラーは減少したものの、ブレインロット学習前の初期状態（ベースライン）との間には依然として17.3%の性能ギャップが残りました。
2. 指示微調整（SFT）の増量 通常5,000件程度のファインチューニングデータを10倍の5万件（ゴミデータの約4.8倍相当）に増やして学習させ直しましたが、事前学習段階で埋め込まれた認知の欠陥を完全に修復することはできませんでした。

これらの結果は、**「事前学習（Pre-training）段階で一度でも低品質データを大量に吸い込んだモデルは、後からどれだけ微調整を重ねても『認知の歪み』を完全には治療できない」**という極めて重要な事実を示唆しています。

業界への提言と今後の課題

本研究は、AI開発におけるデータ選別の重要性に冷や水を浴びせる結果となりました。 モデル開発者たちは、ARCやRULERのような認知ベンチマークを定期的な「健康診断」として組み込み、データパイプラインにおいて「短文かつ高拡散」のSNS投稿を自動的に除外する高性能なインテリジェント・フィルタリング技術を開発する必要があります。AIが人間並みにインプットの「情報の質」に左右される以上、開発の勝敗はアルゴリズムそのものよりも、いかにクリーンな学習用データベースを構築できるかにかかっていると言えます。

研究チームについて

本論文は、米テキサスA&M大学の博士課程に在籍する邢朔（Shuo Xing）氏や、ハーバード・メディカルスクール出身で新進気鋭の洪俊元（Junyuan Hong）氏らを中心とする共同研究グループによって執筆されました。共同責任著者である張揚（Zhangyang Wang）氏は、米国の著名なクオンツ・トレーディング（アルゴリズム取引）企業であるXTX MarketsのAI研究ディレクターを務める人物です。

出典: IT之家