• H100 NCX | H100 PCIe
  • H100 NCX | H100 PCIe

H100 NCX | H100 PCIe

NVIDIA H100 採用的台積電 4nm 製程,是台積電 5nm 製程的強化版本,在效能、功耗、及密度方面都有所提升。它擁有 800 億個電晶體,是首款支援 PCIe 5.0 及首款使用 HBM3 的 GPU 產品,記憶體頻寬高達每秒 3TB。

H100 PCIe 

使用 NVLink 串接兩個 GPU,提供比 PCIe 5.0 還要高出 7 倍的頻寬,但依然能輕鬆安裝於現有的資料中心基礎設施中。

 

H100 CNX 融合加速器

搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC,為企業資料中心的多節點 AI 訓練,以及邊緣的 5G 訊號處理等 I/O 密集型應用程式提供突破性的效能。

H100 NCX H100 PCIe
GPU Architecture NVIDIA Hopper NVIDIA Hopper
GPU Memory 80GB HBM2e 80GB HBM2e
Memory Bandwidth 2 TB/sec 1134 GB/sec
NVIDIA CUDA® Cores  18,432 5,120
NVIDIA Tensor Cores  576 640
Network 400Gb Dual Port (Ethernet or IB) N/A
Double-Precision  24 TFLOPS 24 TFLOPS

Single-Precision 

FP32: 148 TFLOPS TF32: 800 TFLOPS FP32: 148 TFLOPS TF32: 800 TFLOPS
Tensor Performance 1,600 TFLOPS 1,600 TFLOPS
INT8  3,200 TOPS 3,200 TOPS
INT4 N/A N/A
Support MIG MAX: 7 MIGs @ 10GB each MAX: 7 MIGs @ 10GB each
Networking N/A N/A
Graphics Bus PCI Express 5.0 x 16 PCI Express 5.0 x 16
Form Factor Dual Slot Dual Slot
Max TDP Power 350W 350W
Information

相關產品