💡 エグゼクティブサマリー (TL;DR)
- 推論モデルの核心はSFTから「RLスケーリング」へ移行: 人間が手作業で作成した思考連鎖（Chain-of-Thought: CoT）データを与える教師あり微調整（SFT）はデータ枯渇と天井に直面。ルール検証可能な数学・アルゴリズム課題を自己探索する大規模強化学習（RL）が、ディープ推論の本丸へ。
- GRPOが直面した「長大トークンによるポリシー崩壊」: 数千〜数万トークンに及ぶ長大CoTにおいて、従来のトークン単位重点サンプリング（Token-level Importance Sampling）は累積分散が指数関数的に爆発。些細なフォーマット不一致による急激な負の勾配が、モデルの思考能力を不可逆的に破壊する課題が顕在化。
- GSPO（Group Sequence Policy Optimization）によるブレイクスルー: シーケンス単位の比率正規化（Sequence-level Ratio Normalization）と動的報酬クリッピングを導入。Criticモデルを排除した軽量なグループベースラインを維持しつつ、10万ステップ超の長期RL学習でエントロピー崩壊を起こさない数学的安定性を確立。
教師あり学習の限界と、強化学習が引き起こした「訓練の不安定性」
大規模言語モデルの推論能力向上において、開発パラダイムの決定的な転換が起きています。これまで主流だった高品質なCoTデータセットを投入するSFT（Supervised Fine-Tuning）は、人間が理解可能な論理ステップの限界とデータ作成コストの壁に突き当たりました。
現在、フロンティア研究所が注力するのは、検証可能な正誤判定（Rule-based Verifier）を報酬関数として配置し、モデル自身に試行錯誤・自己反省（Self-Reflection）・バックトラック（Backtracking）を探索させる「純粋強化学習（Pure RL Scaling）」です。
しかし、推論モデルの強化学習は、従来の対話アライメント（RLHF）とは根本的に異なるエンジニアリングの断崖に直面しました。
📊 従来のRLHFアライメント（短文応答）
| 項目 | 構成モジュール / 概念 | 主要機能・工学的仕様 |
|---|
- 要素: プロンプト > 出力（200〜500トークン） > Reward Model > PPO更新（安定）
- 要素: プロンプト > 思考連鎖（4,000〜32,000トークン） > ルール検証器 > 勾配更新
- 要素: ∏ (π_θ / π_ref) の分散が急増 > ポリシー崩壊（Repetitive Loops / 無意味な思考の暴走）
DeepSeek-R1などで広く採用されたGRPO（Group Relative Policy Optimization）は、Criticモデル（価値関数ネットワーク）を不要にし、同一プロンプトから生成した複数サンプルの相対スコアをベースラインとすることでメモリ消費を半減させました。しかし、思考トークン長が8,000〜32,000トークンに達する超高難度タスクでは、訓練途中で突然出力が同一パターンの繰り返しに陥る「ポリシー崩壊（Policy Collapse）」が頻発する現象が報告されていました。
なぜGRPOは長大推論で破綻するのか：数理的メカニズムの解剖
GRPOの最適化目的関数は、以下のように各トークン位置 $t$ における新旧ポリシーの確率比 $r_t(\theta) = \frac{\pi_\theta(o_t | q, o_{<t})}{\pi_{old}(o_t | q, o_{<t})}$ を用いて定義されます：
$$\mathcal{L}{GRPO}(\theta) = \hat{\mathbb{E}} \left[ \frac{1}{|o|} \sum{t=1}^{|o|} \min\left( r_t(\theta) \hat{A}t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}t \right) - \beta D{KL}(\pi\theta || \pi_{ref}) \right]$$
この式には、長大推論において致命的となる2つの構造的欠陥が内包されていました。
1. トークン単位クリッピングとシーケンス全体報酬の不整合
数学の証明問題において、10,000トークン中9,990トークンが完璧な論理展開であっても、末尾の計算ミスで最終報酬が $0$ になった場合、GRPOはシーケンス内の全トークンに対して一様に負のアドバンテージ $\hat{A}_t < 0$ を割り当てます。このとき、個々のトークン比率 $r_t(\theta)$ がわずかに変動するだけで、勾配が特定の正しい中間推論ステップまで過剰に抑制してしまいます。
2. 思考長バイアス（Length Bias）とエントロピー崩壊
正解に達したサンプルが偶然長文であった場合、モデルは「思考トークンを無駄に引き伸ばすこと」自体を学習し始めます。逆に、ペナルティを避けるために探索空間を極端に狭め、多様な解法を試行する確率（ポリシーエントロピー）が急落し、局所最適解に拘束されます。
GSPOの設計思想：シーケンス単位比率正規化と動的クリッピング
この構造的限界を根底から再構築したのが、**GSPO（Group Sequence Policy Optimization）**です。GSPOは、トークン単位の微視的な確率比に依存するアプローチを排し、シーケンス全体の幾何平均確率比を基軸に据えた最適化を行います。
1. シーケンス単位重点サンプリング比（Sequence-level Importance Ratio）
GSPOでは、生成されたシーケンス $o = (o_1, o_2, \dots, o_T)$ 全体に対する確率比を、トークン長 $T$ で正規化した幾何平均として定義します：
$$s(\theta, o) = \exp\left( \frac{1}{T} \sum_{t=1}^T \log \frac{\pi_\theta(o_t | q, o_{<t})}{\pi_{old}(o_t | q, o_{<t})} \right)$$
これにより、個別のトークンにおける微小な確率揺らぎが集積して勾配を吹き飛ばす現象を数理的に遮断。シーケンス全体としてのポリシー更新幅が常に一定範囲に制御されます。
2. 動的報酬クリッピング（Dynamic Reward-Decoupled Clipping）
アドバンテージ $\hat{A}$ の大きさに応じてクリッピング閾値 $\epsilon$ を動的に変調させることで、稀に出現する「極めて質の高い長大思考解法」を切り捨てずにモデルへ吸収させます。
| 最適化項目 | PPO (従来RLHF) | GRPO (DeepSeek-R1世代) | GSPO (2026年最新設計) |
|---|---|---|---|
| Criticモデルの要否 | 必須 (VRAM消費大) | 不要 (グループ平均) | 不要 (正規化グループ平均) |
| 重点サンプリング単位 | トークン単位 ($r_t$) | トークン単位 ($r_t$) | シーケンス幾何平均 ($s$) |
| 長大CoT耐性 (16k+ tokens) | 低 (勾配消失・爆発) | 中 (ポリシー崩壊リスク有) | 極めて高 (10万step超安定) |
| 探索エントロピー維持率 | 急速に減少 | 中期で局所収束 | 長期にわたり多様性を維持 |
| GPUクラスタ通信オーバーヘッド | 高 (Critic同期多重化) | 低 (Actor+Refのみ) | 極小 (非同期ロールアウト適合) |
分散強化学習インフラの最適化：推論と学習の分離アーキテクチャ
強化学習スケーリングにおける最大のインフラ課題は、「生成（Rollout）」と「学習（Train）」で求められるハードウェア特性の乖離です。
推論モデルのRLでは、計算時間の80%以上がプロンプトに対する思考トークンの生成（Rolloutフェーズ）に費やされます。このフェーズではKVキャッシュのメモリ帯域と低遅延デコーディングがボトルネックとなり、投機的デコーディングとツリー検証が変える大規模AI推論基盤やMLA機構とマイクロFP4量子化が革新するAI推論インフラで詳述した投機的デコーディングやMLA機構が不可欠です。
一方、バックプロパゲーション（Trainフェーズ）では、テンソル並列（TP）とパイプライン並列（PP）による巨大な浮動小数点演算性能（FLOPS）が要求されます。
📊 推論・学習分離型 RLクラスタ（Ray + Megatron-LM）
| 項目 | 構成モジュール / 概念 | 主要機能・工学的仕様 |
|---|
- 要素: ・投機的デコーディング / FP8 KVキャッシュ
- 要素: ・数万件の思考軌跡（Traversals）を並行サンプリング
- 要素: (軌跡データ + 正誤判定報酬)
- 要素: [高速RDMA / RoCEv2転送]
- 要素: ・GSPO シーケンス幾何平均勾配計算
- 要素: ・ウェイト更新 (重みブロードキャスト) > Rollout側へ
最新の強化学習基盤では、LLMのPD分離推論と高速RDMA通信が拓く推論基盤の新設計と同様の**PD分離（Prefill-Decode Disaggregation）**思想を強化学習に応用。Rolloutノード群とTrainノード群を論理的に分離し、RoCEv2ロスレスネットワーク経由でKVキャッシュと生成ログをストリーミング転送する非同期パイプラインが標準化されています。
これにより、学習クラスタのGPU稼働率（MFU）は従来の32%から58%以上へと劇的に改善し、学習コストの大幅な圧縮が実現しました。
自律的論理飛躍を解き放つ「ポストSFT時代」の針路
GSPOの確立が意味するのは、大規模言語モデルが「人間の書いた文章を真似る統計的オウム」から、「ルールに基づき独自の推論経路を自律開拓する推論エンジン」への完全な脱皮です。
Kimi K3とDeepSeek V4が変えるAIコーディングで起きたコーディングエージェントの自律デバッグ能力の進化や、複雑な定理証明における自発的な補助線の発見は、安定した強化学習スケーリング環境があって初めて成立します。
人間によるアノテーションデータの壁を突破したAIフロンティアは今、強化学習の目的関数そのものを洗練させ、より深遠な数理的探索空間へと進出しています。モデルが自ら考え、自ら誤りを正し、人類未踏の解法を導き出す時代の基盤技術が、ここに結実しつつあります。
コメント
...