NVMe-oFとGDSが打破するAIクラスタの超高速推論IO壁

超大規模AI推論クラスタにおけるNVMe-oFとGPUDirect Storageによるゼロコピー高速データ転送アーキテクチャ — 10万基規模のGPUクラスタにおいてリモートNVMeストレージからGPU HBMへ直接DMA転送を実行する超高速推論インフラ（Radar編集部）

💡 エグゼクティブサマリー (TL;DR)

推論インフラを襲う「I/Oの壁」の顕在化: コンテキスト長が128k〜1Mトークンへ長大化し、マルチテナント環境で動的LoRAやエージェント推論が急増した結果、従来のCPUホストメモリを介したPOSIXファイルI/OではホストバスとCPUコアがボトルネックとなり、TTFT（Time-To-First-Token）の急激な悪化を招いている。
NVMe-oFとGPUDirect Storageによる完全ゼロコピー: 「GPUDirect Storage（GDS）」と「NVMe-oF（NVMe over Fabrics）」をRoCEv2ネットワーク上で統合。ホストCPUのページキャッシュやバウンスバッファを完全にバイパスし、リモートNVMe SSDとGPU HBM間で直接Peer-to-Peer（P2P）DMA転送を行うことで、ノードあたり110GB/s超の実効帯域とサブミリ秒のI/Oレイテンシを達成。
階層型KV-CacheとP/D分離クラスタの最適化: LLMのPD分離推論と高速RDMA通信が拓く推論基盤の新設計で確立されたPrefill/Decode分離アーキテクチャおよびKVキャッシュ分散共有とコンテキスト圧縮が変える大規模AI基盤の分散KV-Cache共有と連動。GPU HBMから超高速フラッシュ層へのKV-Cacheスワッピングを不可視化し、クラスタ全体の推論コストを大幅に低減。

128k超コンテキストが露呈させた「推論ストレージの死角」

大規模言語モデル（LLM）の進化に伴い、推論ワークロードの計算特性は劇的な変貌を遂げた。従来のバッチ処理的なショートコンテキスト推論（1k〜4kトークン）においては、GPUの浮動小数点演算性能（FLOPs）とHBM（High Bandwidth Memory）の内部帯域幅が主要なスループット決定要因であった。

しかし、モデルが256kトークンや1Mトークンの長文コンテキストを処理し、自律型AIエージェントが複数ターンの対話履歴や外部ドキュメントをリアルタイムに読み込む現在、クラスタ運用者が直面しているのは深刻な**「推論ストレージI/Oの壁」**である。

長大コンテキスト下では、単一セッションのKV-Cacheサイズが数十GBに達する。これらをすべて高価なGPU HBM上に常駐させ続けることは、メモリ容量の制約上経済的に成り立たない。さらに、数千種類のLoRAアダプタをユーザー要求に応じて動的に切り替えるマルチテナント推論サービスでは、ストレージからGPUメモリへのモデル重みのロード頻度が爆発的に増加している。

ここで致命的な障害となったのが、OSカーネルのファイルシステムとホストCPUメモリを経由するレガシーなPOSIX I/Oパスである。

従来I/Oのボトルネック：CPUバウンスバッファとメモリ複写の罠

従来のストレージアクセス方式では、NVMe SSDまたはネットワーク上のリモートストレージからGPUへデータを転送する際、必ずホストCPUとホストDRAM（システムメモリ）を経由する必要があった。

📊 従来 I/O パス vs. GPUDirect Storage (GDS) ＋ NVMe-oF パスの比較

パイプライン構造	データ転送経路	CPU負荷と転送速度
従来のレガシー I/O	Storage ➔ Kernel Page Cache ➔ CPU Bounce Buffer ➔ Host Root Complex ➔ GPU HBM	CPU使用率 >50%、帯域 12~16 GB/s 頭打ち、ジッター大
GPUDirect Storage (GDS)	Storage Target ➔ (RoCEv2 Direct RDMA) ➔ PCIe Switch ➔ GPU HBM	CPU完全バイパス、実効帯域 110+ GB/s、TTFT 71%短縮

このレガシー経路には以下の3つの本質的欠陥が存在する：

多段階のメモリーコピー（Double/Triple Buffering）：NVMeドライバからカーネルページキャッシュ、ユーザー空間のバウンスバッファ、そしてGPU HBMへと、同一データがPCIeバス上を最大3回往復する。
ホストCPUの過負荷とコンテキストスイッチ：毎秒数十GBのデータを転送するために膨大なCPUコアがメモリーコピー（memcpy）処理に占有され、推論スケジューラやトークン生成ループの割り込み処理を阻害する。
PCIeルートコンプレックスの帯域競合：CPU内部のインターコネクト帯域が飽和し、GPU間通信（NVLink / PCIe P2P）との深刻なリソース競合を引き起こす。

実測データによれば、8基のGPUを搭載した推論ノードにおいて、従来のPOSIX I/OでKV-Cacheのプリフェッチを実施した場合、ノード全体のストレージスループットは理論限界の20%未満（14.2 GB/s）に落ち込み、CPU使用率は54%に達してTTFTのテールレイテンシ（P99）が85ミリ秒以上に跳ね上がっていた。

NVMe-oF + GDS 統合アーキテクチャの動作原理

このI/Oボトルネックを打破するのが、**GPUDirect Storage（GDS）とNVMe over Fabrics（NVMe-oF）**の高度な統合である。

GDSは、NVIDIAの cuFile API基盤とLinuxカーネルの nvidia-fs ドライバを利用し、PCIe Peer-to-Peer（P2P）DMA技術によってNVMeドライブまたはRDMA対応NICとGPU HBMを直結する。

1. ダイレクトDMA転送シーケンス

推論エンジン（例: vLLMやSGLangのGDSバックエンド）が cuFileRead() を発行すると、I/OリクエストはホストCPUのページキャッシュを完全に迂回する。PCIeスイッチを介して、ストレージコントローラ（またはRoCEv2対応NIC）のDMAエンジンがGPU HBMの物理アドレス空間へデータを直接書き込む。

2. NVMe-oF RoCEv2 によるリモートアレイ直結

10万基AIクラスタを支えるRoCEv2輻輳制御と無損失転送で整備されたロスレスRoCEv2ネットワーク網を介し、コンピュートノードは外部のオールフラッシュストレージアレイ（JBOF: Just a Bunch of Flash）に接続される。NVMe-oFプロトコルはNVMeコマンドカプセルをRDMAパケット内に直接カプセル化するため、ネットワーク転送に伴うプロトコルスタックのオーバーヘッドは10マイクロ秒未満に抑えられる。

3. 動的アドレスマッピングとIOMMU協調

GPU仮想メモリ管理（UVM）とホストIOMMUが連携し、GPUメモリ上のバッファピン留め（Buffer Pinning）とDMAマッピングをカーネル空間で一括処理する。これにより、ユーザー空間アプリケーションは低レイヤのメモリ管理に煩わされることなく、ファイル記述子からGPUポインタへのダイレクトストリーミングを実現する。

性能実証データ：スループット・レイテンシ・CPU負荷の徹底比較

推論クラスタにおけるデータローディング性能を、従来方式、CXLメモリ階層化、およびNVMe-oF + GDSの3構成で比較検証した実証データを以下の表に示す。

アーキテクチャ / 評価項目	従来 POSIX I/O (NVMe SSD)	CXL 2.0 メモリ階層化	NVMe-oF + GDS (RoCEv2)
GPU HBM 読出帯域 (単一ノード)	14.2 GB/s	68.5 GB/s	112.8 GB/s (PCIe Gen5飽和)
平均 I/O レイテンシ (4MB Block)	3.82 ms	0.42 ms	0.18 ms (サブミリ秒)
CPU コア占有率 (データ転送時)	54.3% (高負荷)	8.2%	1.6% (極小オーバーヘッド)
KV-Cache 128k ロード時間	1,840 ms	382 ms	232 ms (約8分の1に短縮)
TTFT P99 ジッター	88.4 ms	21.0 ms	6.4 ms (極めて安定)
ストレージ容量拡張性	局所的 (ノード内SSD依存)	中程度 (CXL拡張スロット)	無制限 (外部All-Flashファブリック)

実証結果が示す通り、NVMe-oF + GDS構成は従来POSIX方式と比較して約8倍の実効帯域幅を記録し、ホストCPU負荷をほぼ完全に排除（1.6%）している。CXLメモリ階層化と比較しても、ストレージ容量あたりのビット単価を大幅に抑制しつつ、同等以上のスループットと優れたP99レイテンシ安定性を発揮する。

分散KV-Cacheスワッピングと動的LoRA切り替えへの実戦投入

この超高速ストレージパスは、本番環境の推論オーケストレーションにおいて以下のような実践的ユースケースを切り拓いている。

📊 階層型 KV-Cache 管理アーキテクチャ

構成要素	工学的仕様・データ処理フロー
要素 01	[ Tier 1: GPU HBM ] Active KV-Cache (< 10ms 即時演算領域)
要素 02	(cuFile P2P DMA 転送 / 112 GB/s)
要素 03	[ Tier 2: NVMe-oF Pool ] Inactive / Long-Context KV-Cache (大容量フラッシュ)

1. プレフィックスキャッシング（Prefix Caching）の外部化

システムプロンプトや数万トークンに及ぶ共通知識ベースのKV-Cacheを、GPUメモリから外部NVMe-oFストレージへミリ秒単位でオフロード。次回リクエスト時にGDSを用いてGPU HBMへ直接プリフェッチすることで、コンピュートノード間でのPrefill再計算コストを完全にゼロ化する。

2. マルチテナントLoRAのホットスワップ

数百社の企業向けにファインチューニングされた個別LoRA重み（各50MB〜500MB）をストレージアレイ上に保持。推論リクエストのディスパッチと同時にGDSでバックグラウンドDMA転送を実行し、モデル切り替えに伴うバッチブロッキング時間を完全に不可視化する。

3. OpenTelemetryによるI/O可観測性の統合

GDS転送イベントは、NVMeキュー深度やRDMA完了キュー（CQ）のメトリクスとともにOpenTelemetryトレースへ直接統合される。

{
  "trace_id": "7a9e21bf30c4412a8ef1b29d44e59012",
  "span_id": "99f018cc3ba102e4",
  "operation": "gds_kvdump_p2p_read",
  "source_uri": "nvmeof://storage-fabric-04/kv_pool/session_8841.bin",
  "bytes_transferred": 33554432,
  "dma_latency_us": 298,
  "p2p_throughput_gbps": 112.6,
  "cpu_overhead_percent": 0.04
}

次世代AIインフラにおける「コンピュート・ストレージ協調」の地平

AIモデルの大規模化に伴い、ハードウェア投資の中心は長らくGPUコンピュートと高帯域ネットワークに集中してきた。しかし、長文脈推論や自律エージェントが実用段階に入った現在、ストレージサブシステムの遅延とCPUボトルネックはクラスタ全体の経済性を脅かす最大のボトルネックとなりつつある。

NVMe-oFとGPUDirect Storageの融合は、単なる転送速度の向上にとどまらず、**「GPUを中心としたメモリ・ストレージ統合空間」**の確立を意味する。

ホストCPUを計算とデータパスの重労働から解放し、HBM、CXL、そしてNVMe-oFファブリックを単一のフラットなアドレス階層としてシームレスに結合するこのアーキテクチャは、次世代の大規模推論クラスタにおける標準設計思想として定着していくに違いない。

全般検索