productNVIDIA
H200 PCle 141GB NVL
AIとHPCのワークロードを強化する
H200 PCIe 141GB NVL

NVIDIA H200 TensorコアGPU は、市場を一変させるパフォーマンスとメモリ機能で生成AIとHPCワークロードを強化します。HBM3eを搭載した初のGPUであるH200の大容量かつ高速のメモリは、HPCワークロードのための科学コンピューティングを推進しながら、生成AIと大規模言語モデル(LLM)の高速化を促進します。
特長
<ハイライト>
LLama2 70B推論 |
GPT3-175B推論 |
高性能コンピューティング |
1.9倍の高速化 |
1.6倍の高速化 |
110倍の高速化 |
大容量で高速なメモリによる高いパフォーマンス
NVIDIA HopperアーキテクチャをベースとするNVIDIA H200は、4.8TB/sで141GBのHBM3eメモリを提供する初のGPUです。これは、NVIDIA H100 TensorコアGPUの約2倍の容量で、メモリ帯域幅は1.4倍です。H200の大容量かつ高速なメモリは、生成AIとLLMを加速し、エネルギー効率を向上させ、総所有コストを低減し、HPC ワークロードのための科学コンピューティングを前進させます。
高性能なLLM推論でインサイトを引き出す
進化し続けるAIの世界では、企業はさまざまな推論のニーズに対応するためにLLMを利用しています。AI推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小のTCOで最高のスループットを実現する必要があります。 H200は、Llama2のようなLLMを扱う場合、H100 GPUと比較して推論速度を最大2倍向上します。
ハイパフォーマンスコンピューティングを強化
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンスコンピューティングアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用するHPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して110倍の早さで結果を得ることができます。
エネルギーとTCOの削減
H200の導入により、エネルギー効率とTCOが新たなレベルに到達します。この最先端のテクノロジは、すべてH100 TensorコアGPUと同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AIファクトリーとスーパーコンピューティングシステムは、高速なだけでなく、環境にも優しく、AIと科学のコミュニティを推進する経済的優位性を提供します。
エンタープライズ AI への対応は?
NVIDIA H200 Tensor Core GPUには、NVIDIA AI Enterpriseソフトウェアスイートのエンタープライズサポートを含む5年間のソフトウェアサブスクリプションが付属しており、非常に優れた性能によってAI活用を簡素化します。これにより、企業や組織は、AIチャットボット、レコメンデーションエンジン、ビジョンAIなど、H200で高速化するAIワークフローを構築するために必要なAIフレームワークおよびツールが活用できるようになります。
製品情報
製品名 |
NVIDIA H200 PCIe 141GB NVL |
型番 |
NVH200-141G-NVL |
JANコード |
なし |
価格 |
オープンプライス |
同梱物 |
保証書 ※補助ケーブルは付属しません |
仕様
項目 |
内容 |
アーキテクチャ |
Hopper |
GPUメモリー |
141GB |
メモリー帯域幅 |
4.8TB/s |
エラー修正コード(ECC) |
対応 |
FP64 |
30TFLOPS |
FP64 Tensor Core |
60TFLOPS |
FP32 |
60TFLOPS |
TF32 Tensor Core |
835TFOLPS* |
BFLOAT16 Tensor core |
1,671TFLOPS* |
FP16 Tensor Core |
1,671TFLOPS* |
FP8 Tensor Core |
3,341TFLOPS* |
INT8 Tensor Core |
3,341TFLOPS* |
NVIDIA NVLINK |
対応 |
デコーダー |
7xNVDEC 7xJPEG |
インターコネクト |
PCIe Gen5:128GB/s NVLink:900GB/s |
消費電力(TDP) |
最大600W |
冷却機構 |
パッシブ |
フォームファクター(mm) |
PCIe Dual Slot |
マルチインスタンスGPU(MIG) |
16.5GBのMIGが最大7個 |
付属ライセンス |
NVIDIA AI Enterprise 5年Subscriptionライセンスが付属 ※NVIDIA出荷時から5年 |
同梱物 |
保証書 ※補助電源ケーブルは付属しません |
※仕様などは予告なしに変更されることがあります。
※NVLINK接続する場合はRTX用のNVLINKが3個必要です。
*sparsity有効時
オプション/保証
<オプション>NVIDIA NVLINKブリッジ
製品名 |
NVLINK For Ampere 2-SLOT Retail |
NVLINK For Ampere 3-SLOT Retail |
型番 |
NVLINK FOR AMPERE 2S RETAIL |
NVLINK FOR AMPERE 3S RETAIL |
JANコード |
4560152389065 (2スロットモデル) |
4560152389072(3スロットモデル) |
※スロットの形状は、搭載するシステム側のスロット設計をご確認ください。
<製品保証>保証対象製品の交換(センドバック方式)
※ ユーザー起因はこの限りではありません
※ 交換後の保証期間は、元の保証期間の残存期間が適用されます
※ 仕様などは予告なしに変更されることがあります
外観
関連製品
NVIDIA
DGX H200
AIインフラのNewスタンダード
NVIDIA
NVLINK
高速GPUインターコネクト
NVIDIA
NVIDIA AI Enterprise
エンタープライズAIのための「オペレーティングシステム」