Kubernetes
Network Operator
GPUトポロジー
NVLink
GPUDirect
Data Factory
AI Factory
AIネットワーク
NVIDIA
InfiniBand
目次
はじめに
AIワークロードが急速に拡大する現在、GPUの処理能力だけでなく、それを支えるネットワークインフラの性能も非常に重要になっています。特に、生成AIや大規模言語モデル（LLM）といった複雑で大規模なAIモデルの登場により、AIモデルの開発・学習から推論・運用までの一連のプロセスを、大規模かつ効率的に行うための統合的な環境、いわゆる「AIファクトリー」の重要性が増しています。AIファクトリーとは、GPUクラスタ、AIストレージ、専用ネットワーク、ソフトウェアスタックを統合し、AIモデルの学習から推論・運用までを工場のように継続的・大規模に回すための、新しいクラスのデータセンター基盤です。AIファクトリーでは、GPUなどのコンピュートリソースを最大限活用するために、高速で安定したデータ処理と通信を支える専用のネットワークインフラが求められます。
本コラムでは、このようなAIワークロードに特化したネットワーキングソリューションである、NVIDIA Quantum InfiniBandとNVIDIA Spectrum™-X イーサネットを取り上げ、その特徴や利点、AIのスケールアウトを実現するうえでの重要性についてご紹介します。
1. 市場動向とネットワークの重要性
調査会社650 Groupの予測（2025年3月発表）では、AIデータセンター向けネットワーク市場は2029年までに400億ドル規模に達するとされています。その背景には、AIファクトリーが大規模言語処理やモデルトレーニング、デジタルツインなど多様な用途に活用されていることがあり、極めて高いコンピュート処理能力が求められます。これらを駆動するAIスーパーコンピュータは、大規模で複雑な基盤AIモデルをトレーニングし最適化するために設計されています。
GPUを多数搭載する大規模環境でこれらのシステムが高い性能を発揮するためには、AIワークロードに適したネットワーク設計が重要になります。従来型のエンタープライズ・データセンター向けネットワークは、生成AIをはじめとする新しいAIワークロード特有の通信パターン（後述する大規模な集合通信）に最適化されておらず、GPUの性能を十分に引き出せない場合があります。
なぜAIワークロードでは専用のネットワークが求められるのでしょうか。大規模なAIの学習では、モデルやデータを数百～数万基のGPUに分割して並列計算します。多くの分散学習では、各計算ステップの途中または最後に、GPU同士が計算結果を交換・集約する「集合通信（Collective Communication）」が発生します。代表的な処理には、All-Reduce、Reduce-Scatter、All-Gather、All-to-Allなどがあります。どの集合通信を多く利用するかは、データ並列化、テンソル並列化、パイプライン並列化、MoEモデルで用いられるエキスパート並列化など、モデルや計算処理の分割方法によって異なります。同期を伴う処理では、一部の通信が遅れると他のGPUがその完了を待つため、帯域不足だけでなく、遅延のばらつき（ジッター）、輻輳によるパケットロス、ごく一部の通信が遅れるテールレイテンシが、そのままGPUの待機時間となり、クラスタ全体の実効性能とジョブ完了時間（JCT）に影響します。高価なGPUへの投資効果を引き出すには、こうした集合通信を安定して処理できる、AIワークロードに適したネットワーク（AIファブリック）が重要になります。
汎用のエンタープライズネットワークは、こうしたAI特有の通信パターンを前提に設計されていないため、大規模なAIクラスタでは専用設計の「AIファブリック」が求められます。
▼図1 レガシーネットワークとAIファブリックの比較
上図はレガシーネットワークとAIファブリックの比較を示しています。従来型のデータセンターでは、多くのアプリケーションが独立して実行されるのに対し、AIクラスタはHPCクラスタと似て、ノード間の依存関係が非常に強くなります。AIクラスタ全体のスピードは、ネットワーク内の最も遅い要素、「高いジッターやテールレイテンシ」に左右されます。
こうした処理を汎用のネットワークインフラで行うと、輻輳が発生しやすく、遅延や帯域の問題によってGPUを十分に活用できなくなる場合があります。
右側の図は、NVIDIAがAIファクトリー向けに設計した、AIコンピュートおよびストレージ専用のネットワークです。
GPUDirect RDMAにより、RDMA対応NICはCPUによるデータコピーやホストメモリ経由を抑え、GPUメモリへ直接アクセスしてデータを転送できます。これにより通信のオーバーヘッドを抑え、GPUを計算に専念させやすくなります。AI向けネットワークファブリックは「NVIDIA Quantum InfiniBand」や「NVIDIA Spectrum-Xイーサネット」を基盤とし、ロスを抑えたRDMA転送、低レイテンシ、ノンブロッキング（非オーバーサブスクライブ）構成を設計できること、予測可能なパフォーマンスによって、AIの学習処理を効率化します。
▼表1 AIスケールアウトネットワークに求められる主な設計要件
| 要件 | AIワークロードへの効果 |
| 高い実効帯域 | 大量の勾配・パラメータ・アクティベーションを短時間で転送し、通信待ちを減らします。 |
| 低遅延・低ジッター | 小さな制御通信から大容量転送まで、処理時間のばらつきを抑えます。 |
| 輻輳制御 | 複数の大容量フローが同じ経路に集中した場合でも、ホットスポットやパケットロスを抑えます。 |
| Adaptive Routing | ネットワークの状態を見ながら経路を選択し、静的な経路分散で起きる偏りを軽減します。 |
| 性能アイソレーション | 複数のジョブやテナントが同時に利用しても相互影響を抑え、予測しやすい性能を狙います。 |
| 可観測性・運用性 | リンク、フロー、輻輳、エラーを継続的に監視し、障害の切り分けを支援します。 |
2. NVIDIAの高性能AIネットワークソリューション
NVIDIA AIネットワークプラットフォームは、新たなコンピューティング時代を支え、加速させるために作られています。▼図2 NVIDIA 高性能AIネットワークソリューション
最初に紹介するのは、「NVIDIA Quantum InfiniBand」です。AI専用インフラ向けに最高水準の性能を提供するネットワークとして、大規模AIスーパーコンピューターで広く採用されています。
次に「NVIDIA BlueFieldネットワークプラットフォーム」です。中核となるNVIDIA BlueField-3は、強力なコンピュート能力を備え、ネットワーク、ストレージ、セキュリティといったインフラ処理をCPUからオフロードするDPU（Data Processing Unit）です。GPUサーバーのCPU負荷を軽減し、CPUを本来のアプリケーション処理に集中させることで、システム全体の効率向上につながります。
そして「NVIDIA Spectrum-X Ethernet」は、AIワークロード向けに専用設計された、標準規格準拠のイーサネットネットワーキングプラットフォームです。AIの学習・推論に求められる高い実効帯域と安定した性能の実現を狙って設計されています。
ここで、GPU間の接続には2つの階層があることを整理しておきます。
ひとつは「スケールアップ」で、サーバーあるいはNVL72のような1ラック内のGPU同士を超高帯域で結合する領域です。ここを担うのがNVLink/NVLink Switchで、第5世代NVLinkはGPUあたり1.8TB/s（双方向）の帯域を提供し、GB200 NVL72では72基のGPUを単一のNVLinkドメインとして合計130TB/sで接続します。もうひとつが「スケールアウト」で、サーバーやラックの境界を越えて数千～数万基のGPUを1つのクラスタに束ねる領域です。NVLinkはラック内のGPU間通信に特化した技術であるため、ラックを越えた接続にはNVIDIA Quantum InfiniBandまたはNVIDIA Spectrum-Xイーサネットを用います。本記事が扱うのは、このスケールアウト側のネットワークです。
まず「NVIDIA Quantum InfiniBand」について、どのような技術によってAI専用インフラで高い性能を実現しているのかを詳しく見ていきます。
3. NVIDIA Quantum InfiniBandプラットフォーム
NVIDIA Quantum InfiniBandは、大規模な専用AIインフラ向けに最高水準の性能を提供するネットワークプラットフォームです。本コラムでは、プラットフォーム全体を指す場合は「NVIDIA Quantum InfiniBand」、世代ごとの仕様を示す場合は「NVIDIA Quantum-2」「NVIDIA Quantum-X800」と表記します。NVIDIA Quantum-2は、NDR 400Gb/s世代のInfiniBandプラットフォームで、多くのAIスーパーコンピュータで採用されてきました。NVIDIA Quantum-X800は、XDR 800Gb/sに対応する次世代プラットフォームで、Q3400スイッチ（144ポート）とNVIDIA ConnectX-8 SuperNICの組み合わせにより、ポートあたり800Gb/sのエンドツーエンド接続に対応します。
InfiniBandがAIワークロードで高い実効性能を発揮できる理由は、世代に応じて提供される次の技術にあります。
- SHARP（In-Network Computing）：All-Reduceなどの集約演算をスイッチの中で実行し、サーバー間を行き来するデータ量そのものを削減します（NVIDIA Quantum-2はSHARPv3、NVIDIA Quantum-X800はSHARPv4に対応）。
- Adaptive Routing（適応型ルーティング）：経路ごとの混雑を見ながらパケット単位で適切な経路に振り分け、ネットワーク帯域を効率的に活用しやすくします。
- パフォーマンスアイソレーション：複数ジョブが同居しても互いの性能干渉を抑えます。 これらが組み合わさることで、集合通信の完了時間が安定・短縮し、GPUの待機を減らして学習ジョブ全体の完了時間短縮につながります。
- NVIDIA Quantum InfiniBandスイッチ（NVIDIA Quantum-2：NDR 400Gb/s / NVIDIA Quantum-X800：XDR 800Gb/s）
- サーバー側アダプター（NVIDIA Quantum-2世代：NVIDIA ConnectX-7 InfiniBandアダプター / NVIDIA Quantum-X800世代：NVIDIA ConnectX-8 SuperNIC）
- NVIDIA LinkXケーブルおよびトランシーバー
- UFM（Unified Fabric Manager）による管理・監視ツール群
【参考：シリコンフォトニクスの技術動向】
NVIDIAは、光変換機能をスイッチ側へ統合する技術であるCo-Packaged Optics（CPO）を採用したシリコンフォトニクススイッチとして、NVIDIA Quantum-X Photonics（InfiniBand）およびNVIDIA Spectrum-X イーサネットPhotonicsを発表しています。本コラムでは、AIネットワークにおける技術動向の一例としてご紹介するにとどめます。
4. NVIDIA Spectrum-X イーサネット
次にご紹介するのは、NVIDIA Spectrum-X イーサネットです。イーサネットは世界で最も広く使われるオープンな標準ネットワークですが、一般的なイーサネットは、ネットワーク内でパケットロスが発生し得ることを前提に設計されています。また、従来のECMPによる負荷分散はフロー単位のため、AI学習特有の少数・大容量フローが同じ経路に集中しやすいという課題があります。RoCE（RoCEv2）はイーサネット上でRDMAを実現する仕組みで、UDP/IPベースのトランスポートを用いており、高い性能を安定して得るには、輻輳制御・フロー制御・経路分散・テレメトリを含むエンドツーエンドの設計が必要です。大規模AIクラスタでは、フローの集中や輻輳によってイーサネットの実効帯域が低下する場合があります。実際の低下幅は構成やワークロードによって異なります（具体的なNVIDIA公表値は後述の事例を参照）。
NVIDIA Spectrum-X イーサネットは、この課題を解決するためにNVIDIA Spectrum-4スイッチとSuperNICを密結合させたプラットフォームです。（1）スイッチ側のRoCE Adaptive Routingがパケット単位で経路を分散し、順序が入れ替わって到着したデータは、SuperNIC側のDirect Data Placement（DDP）によって正しいメモリ位置へ直接配置されます。（2）テレメトリベースの輻輳制御が、混雑の兆候を検知して送信を制御し、パケットロスを抑えます。（3）マルチテナント環境でもジョブ間の性能干渉を抑える性能アイソレーションを備えます。これらにより、大規模環境でも高い実効帯域を維持することを狙っています（NVIDIA公表の事例値は後述）。
なお、AI専用に構築するインフラで最高水準の性能を狙う場合はNVIDIA Quantum InfiniBand、イーサネット標準をベースにAIクラウドやマルチテナント環境・既存イーサネット運用との親和性を重視する場合は、NVIDIA Spectrum-X イーサネット、というのが基本的な使い分けです。
NVIDIAは、NVIDIA Spectrum-X イーサネットについて、一般的な既製のイーサネット構成と比較して、AIネットワーク性能を1.6倍に高めると公表しています。これはスイッチとSuperNICを組み合わせた構成での公表値であり、実際の効果はシステム構成やワークロードによって異なります。重要なのは、Adaptive Routingや輻輳制御によって通信の偏りや待ち時間を抑え、GPUを計算に利用できる時間を増やしやすくする点です。
こうした効果は、集合通信が性能を左右する大規模な分散学習・分散推論で最も発揮されます。単一サーバーで完結する小規模な推論など、ネットワークが律速になりにくい用途では効果は限定的です。NVIDIAが検証したリファレンスアーキテクチャに沿って構成することで、導入時の技術リスクを抑え、立ち上げまでの期間を短縮しやすくなります。
速度面では、NVIDIA Spectrum-4ベースのSN5600スイッチが64ポートの800GbE（総容量51.2Tb/s）に対応しています。サーバー側のSuperNICは、NVIDIA ConnectX-8で製品全体として合計最大800Gb/s（イーサネットのポート速度は最大400Gb/s）、NVIDIA BlueField-3で最大400Gb/sに対応します。なお、InfiniBandではNVIDIA Quantum-X800とNVIDIA ConnectX-8 SuperNICの組み合わせにより、エンドツーエンド800Gb/s接続が提供されています。
このプラットフォームは、以下の構成要素から成り立っています。
- NVIDIA Spectrum-X イーサネット スイッチ（NVIDIA Spectrum-4ベースのSN5600など）
- NVIDIA Spectrum-X イーサネット SuperNIC（NVIDIA BlueField-3 SuperNIC、NVIDIA ConnectX-8 SuperNICなど。採用製品はValidated Solution Stackの対象構成によります）
- NVIDIA LinkX ケーブルおよびトランシーバー
- NVIDIA NetQ（ネットワークのテレメトリ・モニタリング）
- NVIDIA DSX Air（AIファクトリーのコンピュート、ネットワーク、ストレージ、オーケストレーション、セキュリティを導入前にシミュレーション・検証するためのプラットフォーム）
これらの検証済みの組み合わせは、NVIDIAが「Validated Solution Stack」として公開しており、対応するスイッチ、SuperNIC、ファームウェア、ソフトウェアのバージョン構成を確認できます。
▼図4 NVIDIA Spectrum-X イーサネットの特長
また、NVIDIAはDDN、VAST Data、WEKAなどの主要ストレージベンダーと協業し、各社のソリューションをNVIDIA Spectrum-X イーサネット向けに検証・最適化しています。
▼表2 NVIDIA Quantum InfiniBandとNVIDIA Spectrum-X イーサネットの選定観点
| 観点 | NVIDIA Quantum InfiniBand | NVIDIA Spectrum-X イーサネット |
| 基盤プロトコル | InfiniBand | イーサネット+RoCE（RoCEv2） |
| 主な強み | ネイティブRDMA、クレジットベースのフロー制御、SHARPによるIn-Network Computing | スイッチとSuperNICの協調制御、既存イーサネット運用との整合、マルチテナント性 |
| 管理・可視化 | UFM | NVIDIA NetQ |
| 向く環境 | 専用AI/HPCクラスタ。集合通信の性能と予測性を最優先する場合 | 企業AI・AIクラウド。既存のイーサネット資産・運用との統合を重視する場合 |
| 設計上の注意 | InfiniBand固有の設計・運用スキルが必要 | RoCE・輻輳制御の設計と、検証済み構成（Validated Solution Stack）の順守が重要 |
5. NVIDIA BlueField-3
続いてご紹介するのは、NVIDIA BlueFieldネットワークプラットフォームです。NVIDIA BlueField-3は、これまでサーバーのCPUが担っていたネットワーク、ストレージ、セキュリティなどのインフラ処理を、専用ハードウェアで肩代わり（オフロード）するDPUです。最大400Gb/s（InfiniBand/Ethernet）の接続に対応し、ソフトウェア定義・ハードウェアアクセラレーションによる処理をNVIDIA DOCAソフトウェアフレームワーク上で開発・運用できます。インフラ処理をホストCPUから分離（アイソレート）することは、性能だけでなくセキュリティ境界の観点でも有効です。なお、同じBlueField-3をベースに、AIクラスタ内のGPUサーバー間通信（East-Westトラフィック）のRoCE接続に特化させた製品が「NVIDIA BlueField-3 SuperNIC」です。DPUがインフラ処理全般のオフロードを担うのに対し、SuperNICは、NVIDIA Spectrum-4スイッチと連携してGPU間通信の高帯域・低遅延・輻輳制御に最適化されている、という役割の違いがあります。
BlueField-3を搭載するだけで、すべてのAIアプリケーションが自動的に高速化するわけではありません。効果は、どのインフラ処理をDPUへ移すか、DOCAをどう活用するか、ホスト・ネットワーク・ストレージ・セキュリティをどう統合するかに依存します。
▼表3 スイッチ、SuperNIC、DPU、DOCAの役割
| 構成要素 | 役割 |
| スイッチ | 複数サーバーをファブリックとして接続し、転送・経路選択・輻輳制御を担います。 |
| SuperNIC | サーバーのネットワーク接続点。RDMA、GPUDirect RDMA、輻輳制御などAI通信向け機能を提供します。 |
| BlueField-3 DPU | ネットワーク、ストレージ、セキュリティなどのインフラ処理をホストCPUからオフロードし、インフラ制御面を分離します。 |
| DOCA | BlueFieldおよび対応ネットワーク製品向けのドライバー、ライブラリ、開発・運用機能を提供するソフトウェア基盤です。 |
▼図5 NVIDIA BlueField-3の特長
6. AI向けネットワーク：ユースケースと業種
NVIDIAの高性能ネットワーク技術は、大規模なAIファクトリーはもちろん、生成AIクラウド、AIストレージなど、さまざまな用途に対応しています。こうした高性能な接続性は、大学などの教育機関、データサイエンスや政府系の研究、医療、金融サービス、メディア・エンターテインメント分野など、幅広い業種で活用されています。▼図6 AI向けネットワーク:主なユースケース・業種・NVIDIAプラットフォーム
なお、図の下段に示したNVIDIAプラットフォームは、業種との一対一の対応を示すものではなく、用途やシステム構成に応じて選択される製品群の例です。DGXは、NVIDIAが設計したフルスタックの統合AIシステム、HGXは、AI・HPC向けのマルチGPUプラットフォーム（サーバーメーカー向けのGPUベースボード）、MGXは、多様な構成に対応するモジュラー型のリファレンスアーキテクチャ、OVXは、Omniverseを用いたデジタルツインなど可視化・シミュレーション向けのシステムを指します。
NVIDIAの各AIソリューションには、ネットワークを含む検証済みのリファレンスアーキテクチャや推奨構成が用意されており、導入の立ち上げを支援します。特にGPUを多数束ねる大規模構成では、ネットワークがGPU稼働率とジョブ完了時間を大きく左右するため、サーバーやGPUの選定と同時に、ネットワークを含めたエンドツーエンドの設計を行うことを推奨します。一方、単一サーバーで完結する小規模な用途では、まず標準的な構成から始め、規模拡張のタイミングでAIネットワークを導入する段階的なアプローチも可能です。
7. まとめ
本コラムでは、NVIDIAのAIネットワーク技術がAIファクトリーで果たす役割をご紹介しました。AIワークロードの大規模化に伴い、集合通信の待ち時間がGPU稼働率とジョブ完了時間を左右するようになり、汎用ネットワークのままでは、GPUの性能を引き出しきれない場面が増えています。NVIDIA Quantum InfiniBandとNVIDIA Spectrum-X イーサネットは、AI専用インフラとイーサネットベースのAI環境という異なるニーズに対し、大規模AIシステムの構築・運用を支えるネットワーク基盤をご提供します。加えて、NVIDIA BlueField-3 DPUや管理ツール群との組み合わせにより、インフラ全体の効率化にも寄与します。
今後AIの導入・拡張を検討される際は、GPUだけでなく、それを支えるネットワークまで含めて総合的に設計することが、AIインフラへの投資対効果を高める鍵になります。ネットワークの見直しをご検討の際は、ぜひお問い合わせください。
関連ページはこちら：
-[GPUDirectとは？2025年版GPUDirect RDMA-DMA-BUF最新情報をご紹介]
-[KubernetesでAIをもっと簡単にーNVIDIA Operatorsが変えるAI運用【Network Operator編】]
-[NVIDIA DGX Sparkとは？③ デスク上の“データセンター”を実現するネットワークとソフトウェア]
-[GPUトポロジーとは？マルチGPU環境で押さえるべき接続技術]
筆者プロフィール
小宮 敏博（こみや としひろ）
リョーサン菱洋株式会社｜ソリューション事業本部 ソリューション技術部 営業技術G 経歴：KDDIで約8年システムエンジニアを経験後、ストレージベンダー・ソフトウェアベンダー・サーバーベンダーにてプリセールス、仮想化ソリューション、HCIビジネスの事業開発に従事。2022年から株式会社トゥモロー・ネットにてセールスエンジニアリング部門長およびソリューション/AIビジネス開発に従事。主にNVIDIA 商材を取り扱っていた。
2025年からは現職。菱洋での実績は・・・NVIDIA AI EnterpriseとNVIDIA DGX Spark™をやっています！ 専門分野：仮想化（VMware/Nutanix）関連、NVIDIA AI Enterprise/DGX Spark/LLM推論/AIインフラ（Cuda / Docker / Kubernetes / その他）など
現場目線で、GPU×生成AIの実務ノウハウをわかりやすく発信します。
#NVIDIA #nvidiaaienterprise #LLM推論 #dgxspark #GPU #aiblog
公開日：
最終更新日：
