H100 PCIe
使用 NVLink 串接兩個 GPU,提供比 PCIe 5.0 還要高出 7 倍的頻寬,但依然能輕鬆安裝於現有的資料中心基礎設施中。
H100 CNX 融合加速器
搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC,為企業資料中心的多節點 AI 訓練,以及邊緣的 5G 訊號處理等 I/O 密集型應用程式提供突破性的效能。
H100 NCX | H100 PCIe | |
GPU Architecture | NVIDIA Hopper | NVIDIA Hopper |
GPU Memory | 80GB HBM2e | 80GB HBM2e |
Memory Bandwidth | 2 TB/sec | 1134 GB/sec |
NVIDIA CUDA® Cores | 18,432 | 5,120 |
NVIDIA Tensor Cores | 576 | 640 |
Network | 400Gb Dual Port (Ethernet or IB) | N/A |
Double-Precision | 24 TFLOPS | 24 TFLOPS |
Single-Precision |
FP32: 148 TFLOPS TF32: 800 TFLOPS | FP32: 148 TFLOPS TF32: 800 TFLOPS |
Tensor Performance | 1,600 TFLOPS | 1,600 TFLOPS |
INT8 | 3,200 TOPS | 3,200 TOPS |
INT4 | N/A | N/A |
Support MIG | MAX: 7 MIGs @ 10GB each | MAX: 7 MIGs @ 10GB each |
Networking | N/A | N/A |
Graphics Bus | PCI Express 5.0 x 16 | PCI Express 5.0 x 16 |
Form Factor | Dual Slot | Dual Slot |
Max TDP Power | 350W | 350W |