研究の概要
中国の研究チームは、オープンソースの大規模言語モデル（例：LLaMA）を用いて、長期間にわたって低品質なインターネットコンテンツを学習させた場合の影響を検証した。目的は、ユーザーが日常的に利用するAIが「使えば使うほど賢くなる」かどうかを実証することだったが、結果は逆説的なものとなった。
実験手法とデータ
実験では、実際のソーシャルメディア（抖音、小紅書など）から抽出した二種類の「ゴミデータ（低品質データ）」を用意した。第一は「エンゲージメント駆動型ゴミ」で、短くてインパクトが強く、いいねやシェアが大量に集まるが内容は浅薄な投稿である。第二は「意味品質駆動型ゴミ」で、“衝撃的”、“細部が恐ろしい”、“○○は存在しない” といった誇張表現が多く、感情を煽ることを目的とした文章である。
これらのデータを 0% から 100% までの比率で混合し、モデルに継続的に投与（Continual Pre-training）した。投与期間は長期にわたり、実際のユーザーが日々受け取る情報量に近いスケールで行われた。
結果と「思考スキップ」
評価指標は、推論精度、長文理解力、安全性・倫理判断など多岐にわたるベンチマークで測定された。結果は全体的に大幅な低下を示した。特に複雑な論理推論や長文の読解においては、性能が急激に落ち、モデルは途中の思考過程を省略して粗い答えを出す「Thought-Skipping（思考スキップ）」という現象を顕在化させた。
具体的には、ゴミデータの比率が 0% のときは基準レベルの推論正確率が維持されていたが、比率が 100% に達すると正確率は急落し、モデルは「考える」ことをやめて直接結論だけを提示するようになった。安全性と倫理面でも同様に低下し、ネガティブなプロンプトに対して抵抗力が弱まり、結果として安全ポリシーを無視しやすくなる傾向が見られた。
AI利用者への示唆
この実験は、AIが単なる情報の受け皿ではなく、入力される情報の質に敏感に反応する「子ども」のような存在であることを示唆している。ユーザーがAIに対して行う一回一回の対話は、実質的にモデルの微調整（微小な再学習）に相当する。
したがって、AIが「完璧な答え」を提示した場合でも、裏付けとなる推論過程や根拠を求めることが重要になる。たとえば「この結論に至ったステップをすべて列挙してください」と指示すれば、思考スキップを防ぎ、結果の信頼性を検証できる。
また、ソーシャルメディア上の情報をAIに要約させるケースでは、単に「要約してください」だけでなく、「客観的事実と根拠だけを抽出し、誇張表現や無関係なコメントを除去してください」といった具体的な制約を与えることで、AIが内部で一度情報を論理的に整理し、思考チェーンを維持するよう促すことができる。
今後の課題と対策
研究者は、途中で高品質データを再投入し、指示ベースの微調整（Instruction-tuning）を試みたが、モデルの認知能力は完全には回復しなかった。これは、低品質データがモデル内部の知識構造を根本的に変容させ、海綿が汚水に浸された後に清水で洗っても元の純度に戻らない状態に例えられた。
実務的には、AIを「ゴミ処理機」ではなく「ゴミ浄化装置」として位置付け、低品質情報を投入する際は必ず高品質なフィードバックを伴わせることが求められる。ユーザーが誤情報や不適切な出力を指摘し、正しい情報源を提示する行為自体が、モデルを健全に保つための重要な入力となる。
さらに、AI開発側も長期記憶や超長文コンテキスト保存機能を強化する際に、学習データの品質管理を徹底すべきである。特に、プラットフォーム上の「PV稼ぎ」的な低品質投稿が大量に収集されるリスクを認識し、データクレンジングや厳格なフィルタリングのプロセスを組み込むことが不可欠だ。
結論として、AIが「賢くなる」か「機能低下するか」は、ユーザーがどのような情報を与えるかに大きく依存する。日常的にAIと対話する際は、出力の裏付けを求め、低品質な入力を避け、必要に応じて高品質な修正指示を行うことで、AIの性能低下を防ぎ、持続的に有用なツールとして活用できるだろう。
出典: 爱范儿
コメント
...