💡 エグゼクティブサマリー (TL;DR)
- モノリシック推論の構造的限界: 大規模言語モデル（LLM）の推論処理は、高い演算密度が要求される「Prefill（プロンプト処理）」と、メモリ帯域に制約される「Decode（逐次トークン生成）」という性質の異なる2つのフェーズで構成されます。同一GPUインスタンス内で両者を同時実行する従来のモノリシック設計は、TTFT（Time to First Token）とTPOT（Time Per Output Token）の相互干渉を引き起こし、計算資源の稼働率低下と深刻なテール遅延（P99）をもたらしていました。
- PD分離（Disaggregation）アーキテクチャの台頭: Prefill専用ノードとDecode専用ノードを物理的・論理的に分離し、それぞれに最適化された並列化戦略（TP/PP/DP）を適用する「PD分離アーキテクチャ」が2026年のAIインフラにおける新標準として定着しました。
- 800Gbps RDMAによるKVキャッシュ・ゼロコピー転送: Prefillノードで生成されたKVキャッシュ（Key-Value Cache）を、GPUDirect RDMA（Remote Direct Memory Access）経由でDecodeノードのHBMへマイクロ秒オーダーで直接ストリーミング転送することで、ネットワーク通信のオーバーヘッドをほぼゼロに隠蔽し、クラスタ全体の推論TCOを最大40%削減します。
📊 LLM Prefill-Decode (PD) Disaggregated Architecture
📊 PD分離推論アーキテクチャの全体データフロー
| レイヤー / コンポーネント | ハードウェア特性と仕様 | データフローとKPI |
|---|---|---|
| Request Router & Scheduler | SLAプロファイリング・長文脈ルーティング | クライアント要求の動的負荷分散 |
| Prefill Worker Pool | Compute-Bound (TP=4/TP=8) / 高FLOPS | 入力プロンプト行列積 (GEMM) ➔ TTFT極小化 |
| GPUDirect RDMA 転送層 | 800Gbps RoCEv2 / InfiniBand | KVキャッシュの超低遅延ゼロコピー転送 |
| Decode Worker Pool | Memory-Bandwidth Bound / 高並行バッチ | トークン逐次生成 (GEMV) ➔ TPOT平滑化 |
1. モノリシック推論が直面する「PrefillとDecodeの構造的衝突」
大規模言語モデル（LLM）の商用サービスにおいて、インフラエンジニアを最も悩ませてきたのが、**Prefill（プロンプト処理）とDecode（自己回帰的なトークン生成）**という2つの計算特性の根本的な非対称性です。
同一のGPU上で両者をバッチ処理（Continuous Batching）する従来のモノリシック推論エンジンでは、物理ハードウェアの特性とワークロードの要求が絶えず衝突を起こしていました。
📊 Prefill フェーズ vs. Decode フェーズの特性比較
| 評価軸 | Prefill フェーズ (プロンプト処理) | Decode フェーズ (トークン生成) |
|---|---|---|
| 計算ワークロード | 入力トークン列の一括行列積 (GEMM) | 1トークンごとの逐次行列ベクトル積 (GEMV) |
| 物理ボトルネック | 計算能力制約 (Compute-bound / Tensor Core) | メモリ帯域幅制約 (Memory-bandwidth / HBM) |
| 最重要 KPI | TTFT (Time to First Token: 初回遅延) | TPOT (Time Per Output Token: 生成速度) |
構造的干渉が生む3つの技術的課題
- Head-of-Line Blocking によるTPOTのスパイク: 長いプロンプト（例: 32k〜128kトークン）を持つ新規リクエストが届くと、Prefill処理がGPUのTensor Coreを数十〜数百ミリ秒間占有します。その間、既に生成中だった数十本のリクエストのDecode処理が一時停止（Stall）し、ユーザーが体感する生成速度に急激な引っ掛かり（Tail Latency Jitter）が発生します。
- GPU計算資源の極端な非効率化: Decode処理中はモデルの重みと巨大なKVキャッシュをHBMから読み出す帯域が律速となるため、高価なGPUのTensor Core稼働率はわずか10%〜20%にまで低下します。一方で、Prefill処理中はHBM帯域に余裕があるにもかかわらず、バッチ全体の待ち行列が伸びてしまいます。
- KVキャッシュメモリの断片化と枯渇: コンテキストウィンドウの長大化に伴い、Prefill完了直後に確保されるKVキャッシュのサイズが急増します。単一インスタンス内で可変長の新規リクエストと長期生存するDecodeリクエストが混在することで、VRAMの動的確保が逼迫し、最悪の場合は実行中リクエストのスワップアウトやOOM（Out of Memory）を引き起こします。
2. PD分離（Disaggregation）の設計原則とワークロード分離
この物理的矛盾を解消するために登場したのが、推論クラスタを**「Prefill専用ノード群（Prefill Workers）」と「Decode専用ノード群（Decode Workers）」に完全に分離するPD分離アーキテクチャ（Prefill-Decode Disaggregation）**です。
📊 モノリシック型 vs. PD分離型の構成・リソース管理比較
| 構成モデル | VRAM メモリ管理 | 計算リソース適用 | 通信および転送 |
|---|---|---|---|
| Monolithic Node | 重み＋可変KVキャッシュの同一混在 | GEMM と GEMV が同一コアで衝突 | ノード内ローカル処理のみ |
| PD Disaggregated Cluster | Prefill: ステートレス / Decode: 専用KV管理 | Prefill: 大規模TP / Decode: 高バッチ継続 | 800Gbps RDMA による KV ストリーミング |
Prefillノードの最適化設計
Prefillノードの主目的は、入力プロンプトのAttention計算を最短時間で完了させ、初回トークン生成遅延（TTFT）を最小化することです。
- 高いTensor Parallelism（TP=4 または TP=8）: 単一ノード内の全GPUにプロンプトを一括分散し、Tensor Coreの演算能力を限界まで使い切ります。
- ステートレス運用: Prefillノードは中間状態であるKVキャッシュを長期間保持する必要がありません。計算が完了した瞬間にKVキャッシュを外部へ排出し、直ちに次の新規リクエストのPrefill演算へと移行します。これにより、ノードの計算稼働率（Compute Utilization）は70%以上に維持されます。
Decodeノードの最適化設計
Decodeノードの主目的は、多数の同時接続リクエストに対して一定のトークン生成レート（例: 50〜100 tokens/sec/user）を乱れなく提供し続けることです。
- 高並行バッチ処理（Maximized Continuous Batching）: 重み読み出しの固定コストを極大化されたバッチサイズで償却し、メモリ帯域幅の利用効率を極限まで高めます。
- 揺らぎのないジッターフリー実行: Prefillの割り込みが一切発生しないため、トークン生成の間隔（Inter-token latency）が完全に平滑化され、SLA保証が極めて容易になります。
3. 800Gbps RoCEv2によるゼロコピーKVキャッシュ転送技術
PD分離アーキテクチャを実現する上で最大の技術的関門となるのが、**「Prefillノードで算出したKVキャッシュを、いかに低遅延でDecodeノードのHBMへ転送するか」**というネットワークボトルネックです。
📊 KVキャッシュ転送サイズ試算モデル
$$\text{Transfer Size (Bytes)} = 2 \times L_{\text{prompt}} \times N_{\text{layers}} \times D_{\text{head}} \times N_{\text{kv_heads}} \times P_{\text{bytes}}$$
例: LLaMA-3-70B (GQA: 8 KV heads, $D_{\text{head}}=128$, 80 layers, FP16) 入力プロンプト長 8,192 トークンの場合: $$\text{Transfer Size} = 2 \times 8192 \times 80 \times 128 \times 8 \times 2 \approx \mathbf{2.68 \text{ GB}}$$
1リクエストあたり2.68GBものデータを通常のTCP/IPスタックやCPUメモリ経由で転送していては、数十〜数百ミリ秒のオーバーヘッドが発生し、PD分離によるレイテンシ削減効果が完全に相殺されてしまいます。
📊 GPUDirect RDMA ゼロコピー転送パイプライン
| パイプライン階層 | 転送コンポーネント / プロトコル | 転送方式とレイテンシ |
|---|---|---|
| Prefill GPU VRAM | Chunked Prefill Layer 完了通知 | レイヤーごとのパイプライン隠蔽 |
| GPUDirect RDMA Engine | 800Gbps RoCEv2 / InfiniBand NIC | CPUをバイパスした PCIe 6.0 ゼロコピー |
| Decode GPU VRAM | PagedAttention Engine v3 | 受信バッファへ直入れ、即時 Decode 参加 |
| 要素 03 | GPU HBM Page Buffer | |
| 要素 04 | [ Direct Memory Access (No Host CPU Copy) ] | |
| 要素 05 | PCIe Gen5/Gen6 Switch | |
| 要素 06 | 800Gbps RDMA NIC (NIC) | |
| 要素 07 | ============ 800Gbps RoCEv2 Lossless Optical Fabric (< 5μs) ============ | |
| 要素 08 | 800Gbps RDMA NIC | |
| 要素 09 | PCIe Gen5/Gen6 | |
| 要素 10 | Decode GPU VRAM | |
| 要素 11 | (PagedAttention) |
1. GPUDirect RDMA による完全カーネルバイパス
PrefillノードのGPU HBMからDecodeノードのGPU HBMへ、ホストOSのCPUやメインメモリ（DRAM）を一切介さず直接DMA（Direct Memory Access）転送を行います。
10万基AIクラスタを支えるRoCEv2輻輳制御と無損失転送 で詳解したRoCEv2ロスレスネットワークを活用することで、800Gbpsインターコネクトにおける実効転送速度は90GB/s以上に達し、前述の2.68GBのKVキャッシュをわずか29ミリ秒で転送完了します。
2. チャンク分割Prefillと非同期パイプライン転送（Overlapped Streaming）
最新の推論フレームワーク（Mooncake、Splitwise、FastDecode）では、全レイヤーのPrefill完了を待ってから転送するのではなく、レイヤーごと・チャンクごとに計算とRDMA転送をオーバーラップさせます。
- PrefillノードがLayer 1〜10のAttentionを計算している間に、Layer 1のKVキャッシュがDecodeノードへ先行ストリーミングされます。
- 最終レイヤーの計算が完了した時点では、既に95%以上のKVキャッシュがDecodeノードのHBMへの書き込みを終えています。
- これにより、実質的なネットワーク転送遅延の見かけ上の値（Perceived Transfer Latency）は実質数ミリ秒以下に隠蔽されます。
4. 推論エンジンアーキテクチャの比較検証
従来のモノリシック推論から、初期のTCPベースPD分離、そして最新のRDMAネイティブPD分離に至るアーキテクチャの進化を以下の表にまとめます。
| 評価指標 / 項目 | モノリシック推論 (Continuous Batching) | 初期PD分離 (TCP/ソケット通信) | 次世代RDMA PD分離 (2026年標準) |
|---|---|---|---|
| TTFT (初回トークン遅延) | 不安定（バッチ内の他処理に依存） | 良好（専用Prefillノードで高速処理） | 極小（TP=8並列 + 即時実行） |
| TPOT (トークン間隔) | 変動大（Prefill割り込みで頻繁にスパイク） | 安定（干渉なし） | 完全平滑（P99テール遅延 75%削減） |
| KV転送ボトルネック | なし（同一VRAM内） | 深刻（100ms以上のネットワーク遅延） | 解消（GPUDirect RDMAで完全隠蔽） |
| GPU Tensor Core 稼働率 | 20%〜35%（計算と帯域の非効率混在） | Prefill: 65% / Decode: 25% | Prefill: 75% / Decode: 45% |
| 長文プロンプト耐性 | 低い（VRAM断片化とOOMリスク大） | 中程度（転送オーバーヘッド増大） | 極めて高い（チャンク転送とCXL連携） |
| クラスタ単位TCO削減率 | 基準 (0%) | +5%〜15%（通信コストで一部相殺） | 35%〜45%のインフラコスト削減 |
5. スケジューリング戦略と動的リソース配分
実運用のAIインフラにおいて、ワークロードのプロンプト長と生成トークン長の比率は時間帯やユースケースによって大きく変動します。
📊 ユースケースによるワークロード要求比率の差異
| ユースケース | ワークロードの物理的特徴 | 推論クラスタへの主要要求 |
|---|---|---|
| コード生成・AIエージェント | 超長文コンテキスト入力 (32k-128k) ＋ 短〜中程度出力 (500-2k) | 巨額の Prefill 処理能力 (Compute-bound) |
| クリエイティブ生成・要約 | 短いプロンプト入力 (1k-2k) ＋ 超長文出力 (4k-16k) | 長時間にわたる Decode スループット (Memory-bound) |
最新のグローバルスケジューラは、これらのトラフィックパターンをリアルタイムに検知し、PrefillノードとDecodeノードの配分比率（$N_P : N_D$）を動的に再編成します。
📊 アーキテクチャ設計とデータフロー
| 構成要素 | 工学的仕様・データ処理フロー |
|---|---|
| 要素 01 | [ Ingress Traffic Monitor ] |
| 要素 02 | > Avg Prompt Length > 16k tokens? |
| 要素 03 | [ YES ] > Scale Up Prefill Ratio (e.g., $N_P:N_D = 1:2$) |
| 要素 04 | [ NO ] > Scale Up Decode Ratio (e.g., $N_P:N_D = 1:6$) |
| 要素 05 | Heterogeneous Hardware Mapping Architecture |
| 要素 06 | [ Prefill Tier ] : High-Compute Focus (NVIDIA Blackwell B200 / GB200 NVL) |
| 要素 07 | * Ultra-Dense FP4/FP8 Matrix Engines |
| 要素 08 | [ Decode Tier ] : Memory-Capacity Focus (NVIDIA H200 / CXL DRAM Pooled Nodes) |
| 要素 09 | * Massive 141GB-288GB HBM3e + Tiered CXL Memory Pooling |
異種ハードウェア（ヘテロジニアス）構成によるTCOの極小化
PD分離がもたらす最大の経営的・技術的ブレークスルーは、**「PrefillノードとDecodeノードで異なるGPU/半導体スペックを採用できる」**点にあります。
- Prefillノード: 最新の高密度演算チップ（例: NVIDIA B200 / GB200）を少数配置し、圧倒的なFLOPSで一気にPrefillを処理。
- Decodeノード: 大容量HBMを搭載した前世代チップ（例: H200やローカルアクセラレータ）や、CXL3.1メモリプーリングが打破するAI推論のメモリの壁 で紹介したCXL 3.1メモリプール接続ノードを多数配置。
高価なフラッグシップGPUをクラスタ全体に均一配置する必要がなくなるため、データセンターの設備投資（CAPEX）と消費電力あたりの推論スループット（Tokens per Watt）が劇的に改善されます。
6. まとめ：AI推論は「単体GPUの最適化」から「分散ファブリック設計」へ
LLM推論のアーキテクチャは、単一GPU内部のカーネルチューニング（FlashAttentionやTensorRT-LLM）の時代を経て、クラスタ全体を1つの巨大な分散コンピュータとして再定義する「ファブリック・オーケストレーション」の時代へと完全に突入しました。
PrefillとDecodeの物理的分離、800Gbps RDMAによるゼロコピーKVキャッシュストリーミング、そして動的スケジューリングと異種チップの適材適所配置。これらが有機的に結合することで、AIインフラはミリ秒単位のSLA保証と大幅なコスト削減を両立させています。
KVキャッシュ分散共有とコンテキスト圧縮が変える大規模AI基盤 で検証した階層型KVキャッシュ圧縮技術や、MLA機構とマイクロFP4量子化が革新するAI推論インフラ の潜在アテンション機構（MLA）と組み合わせることで、PD分離アーキテクチャは100万トークンを超えるマルチモーダルエージェントの常時稼働を支える基盤技術として、今後さらなる進化を遂げていくことは間違いありません。
コメント
...