H100 SXM | H100 NVL
利用 NVIDIA H100 Tensor 核心 GPU，提供所有工作負載前所未有的效能、可擴充性和安全性。使用 NVIDIA® NVLink® Switch 系統，最高可連接 256 個 H100 來加速百萬兆級工作負載，此外還有專用的 Transformer Engine，可解決一兆參數語言模型。H100 所結合的技術創新，可加速大型語言模型速度，比前一代快上 30 倍，提供領先業界的對話式人工智慧。
| 尺寸規格 | H100 SXM | H100 PCIe(EOS) | H100 NVL2 |
|---|---|---|---|
| FP64 | 34 兆次浮點運算 | 26 兆次浮點運算 | 68 teraFLOPs |
| FP64 Tensor 核心 | 67 兆次浮點運算 | 51 兆次浮點運算 | 134 teraFLOPs |
| FP32 | 67 兆次浮點運算 | 51 兆次浮點運算 | 134 teraFLOPs |
| TF32 Tensor 核心 | 989 兆次浮點運算* | 756 兆次浮點運算* | 1,979 teraFLOPs1 |
| BFLOAT16 Tensor 核心 | 1,979 兆次浮點運算* | 1,513 兆次浮點運算* | 3,958 teraFLOPs1 |
| FP16 Tensor 核心 | 1,979 兆次浮點運算* | 1,513 兆次浮點運算* | 3,958 teraFLOPs1 |
| FP8 Tensor 核心 | 3,958 兆次浮點運算* | 3,026 兆次浮點運算* | 7,916 teraFLOPs1 |
| INT8 Tensor 核心 | 3,958 兆次運算* | 3,026 兆次運算* | 7,916 TOPS1 |
| GPU 記憶體 | 80 GB | 80 GB | 188GB |
| GPU 記憶體頻寬 | 每秒 3.35TB | 每秒 2TB | 7.8TB/s |
| 解碼器 |
7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
14 NVDEC 14 JPEG |
| 最大散熱設計功耗 (TDP) | 高達 700W (可設定) | 300W 至 350W (可設定) |
2x 350-400W (可配置) |
| 多執行個體 GPU | 最多 7 個 10GB 的多執行個體 GPU |
最多支持 14 個12GB 的 MIG |
|
| 尺寸規格 | SXM |
PCIe 雙插槽氣冷 |
2x PCIe 雙插槽風冷設備 |
| 互連技術 | NVLink：每秒 900GB 第 5 代 PCIe：每秒 128GB | NVLink：每秒 600GB 第 5 代 PCIe：每秒 128GB |
NVLink: 600GB/s PCIe Gen5: 128GB/s |
| 伺服器選項 | NVIDIA HGX™ H100 合作夥伴與 NVIDIA 認證系統™，搭載 4 個 或 8 個 GPU NVIDIA DGX™ H100 搭載 8 個 GPU | 合作夥伴與 NVIDIA 認證系統™，搭載 1 到 8 個 GPU |
具有 2-4 對的合作夥伴和 NVIDIA 認證系統 |
| NVIDIA AI Enterprise | 附加元件 | 包含 | 附加 |
