product NVIDIA H100 Tensor Core GPU 80GB
あらゆるデータセンターにかつてない性能、拡張性、セキュリティを提供 H100 Tensor Core GPU 80GB
NVIDIA H100 Tensor Core GPU 80GBは、NVDIA Hopperアーキテクチャを採用し、80GBの大容量メモリーを搭載したデータセンター向けGPUです。 大規模言語モデルに最大のパフォーマンスを発揮します。
特長
アクセラレーテッド コンピューティングの大きな飛躍
NVIDIA H100 TensorコアGPU で、あらゆるワークロードのためのかつてない性能、拡張性、セキュリティを手に入れましょう。NVIDIA® NVLink® Switch Systemにより、最大256 個のH100を接続し、エクサスケールのワークロードを高速化できます。さらに、専用のTransformer Engineを利用することで、パラメーターが兆単位の言語モデルを実装できます。H100の複合的な技術革新により、大規模な言語モデルが前世代と比較して30倍も高速化され、業界の一歩先を行く対話型AIが可能となります。
前世代のTensor行列演算と比較して2倍以上のスループットを実現するFine-Grained Structured Sparsity機能をサポートしています。Tensorコアのアップデートは、新しいFP8精度モードを高速化します。独立した浮動小数点と整数のデータパスにより、計算とアドレッシング計を組み合わせてワークロードをより効率的に実行できます。
大規模言語モデル推論を加速
最大1750億パラメーターの大規模言語モデル(LLM)の場合、PCIeベースのH100 NVL with NVLinkブリッジは、Transformer Engine、NVLink、および188GB HBM3メモリーを利用して、あらゆるデータセンターで最適な性能と容易な拡張性を提供し、LLMを主流にしています。H100 NVL GPUを搭載したサーバーは、電力制約のあるデータ センター環境において低遅延を維持しながら、GPT-175Bモデルの性能をNVIDIA DGX™ A100システムの最大12倍まで向上します。
NVIDIA CUDAコア
単精度浮動小数点(FP32)演算の倍速処理により、デスクトップにおける複雑な3Dのコンピューター支援設計(CAD)とコンピューター支援エンジニアリング(CAE)などのグラフィックスやシミュレーションのワークフローに適した驚異的なパフォーマンス向上を実現します。
NVIDIA AI Enterprise
標準サーバー向けのH100には、NVIDIA AI Enterpriseソフトウェア スイートのサブスクリプション5年分(エンタープライズサポートなど)が付属しており、その非常に優れた性能によってAIを簡単に導入できます。それにより、企業や組織は、AIチャットボット、レコメンデーション エンジン、ビジョンAIなど、H100で高速化するAIワークフローを構築するために必要なAIフレームワークおよびツールが活用できるようになります。
第4世代 Tensorコア
ディープラーニングの行列乗算と積和演算に特化した第4世代Tensorコアは、より多くのデータ型を高速化し、前世代のTensor行列演算と比較して2倍以上のスループットを実現するFine-Grained Structured Sparsity機能をサポートしています。Tensorコアのアップデートはまた、新しいFP8精度モードを高速化します。独立した浮動小数点と整数のデータパスにより、計算とアドレッシング計を組み合わせてワークロードをより効率的に実行できます。
NVIDIA Omniverse Enterprise
3Dパイプラインと仮想世界の接続、構築、運用 現実に忠実な3Dアセットや3D環境の設計から、大規模なデジタルツインの運用まで、NVIDIA Omniverse™ EnterpriseとUniversal Scene Description(OpenUSD)を利用すれば、物理的に正確な大規模シミュレーションや処理能力要求の高いAI、産業、科学ワークフローの課題などをチームは克服できます。NVIDIA AI Enterpriseページ
製品情報
製品名
NVIDIA H100 Tensor Core GPU 80GB
型番
NVH100-80G
JANコード
なし
価格
オープンプライス
同梱物
保証書※補助ケーブルは付属しません
仕様
項目
内容
アーキテクチャ
Hopper
GPUメモリー
80GB HBM2e
メモリー帯域幅
2TB/s
エラー修正コード(ECC)
対応
FP64
26TFLOPS
FP64 Tensor Core
51TFLOPS
FP32
51TFLOPS
TF32 Tensor Core
756TFOLPS*
BFLOAT16 Tensor core
1,513 TFLOPS*
FP16 Tensor Core
1,513 TFLOPS*
FP8 Tensor Core
3,026 TFLOPS*
INT8 Tensor Core
3,026 TFLOPS*
NVIDIA NVLINK
対応
デコーダー
7xNVDEC 7xJPEG
インターコネクト
PCIe5.0:128GB/s NVLink:600GB/s
消費電力(TDP)
300~350W
冷却機構
パッシブ
フォームファクター(mm)
高さ111x長さ267.7 Dual Slot
マルチインスタンスGPU(MIG)
10GBのMIGが最大7つ
付属ライセンス
NVIDIA AI Enterprise 5年Subscriptionライセンスが付属
同梱物
保証書※補助ケーブルは付属しません
※仕様などは予告なしに変更されることがあります。
*sparsity有効時
オプション/保証
<製品保証> 保証対象製品の交換(センドバック方式)
※ ユーザー起因はこの限りではありません
※ 交換後の保証期間は、元の保証期間の残存期間が適用されます
※ 仕様などは予告なしに変更されることがあります
外観
関連製品
SuperMicro SYS-421GE-TNRT
Intel CPUサーバー
SuperMicro SYS-741GE-TNRT
GPU搭載ワークステーション
SuperMicro AS-4125GS-TNRT
AMD CPUサーバー
NVIDIA NVLINK
高速GPUインターコネクト