NVIDIA H100 Tensor Core GPU

NVIDIA H100 Tensor Core GPU

发布人: 王女士
电话 : 15829605319
分类 : 数据中心GPU
点击数 :
更新时间 : 2023-10-09

NVIDIA H100 Tensor Core GPU

加速计算的数量级飞跃。

通过 NVIDIA H100 Tensor Core GPU，在每个工作负载中实现出色性能、可扩展性和安全性。使用 NVIDIA® NVLink® Switch 系统，可连接多达 256 个 H100 来加速百亿亿级 (Exascale) 工作负载，另外可通过专用的 Transformer 引擎来处理万亿参数语言模型。与上一代产品相比，H100 的综合技术创新可以将大型语言模型的速度提高 30 倍，从而提供业界领先的对话式 AI。

查看产品规格。

外形规格	H100 SXM	H100 PCIe
FP64	34 teraFLOPS	26 teraFLOPS
FP64 Tensor Core	67 teraFLOPS	51 teraFLOPS
FP32	67 teraFLOPS	51 teraFLOPS
TF32 Tensor Core	989 teraFLOPS*	756teraFLOPS*
BFLOAT16 Tensor Core	1979 teraFLOPS*	1,513 teraFLOPS*
FP16 Tensor Core	1979 teraFLOPS*	1,513 teraFLOPS*
FP8 Tensor Core	3958 teraFLOPS*	3026 teraFLOPS*
INT8 Tensor Core	3958 TOPS*	3026 TOPS*
GPU 显存	80GB	80GB
GPU 显存带宽	3.35TB/s	2TB/s
解码器	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
最大热设计功率 (TDP)	高达 700 瓦（可配置）	300-350 瓦（可配置）
多实例 GPU	最多 7 个 MIG @每个 10GB
外形规格	SXM	PCIe 双插槽风冷式
互连技术	NVLink：900GB/s PCIe 5.0：128GB/s	NVLink：600GB/s PCIe 5.0：128GB/s
服务器选项	NVIDIA HGX™ H100 合作伙伴和配备 4 或 8 个 GPU 的 NVIDIA 认证系统™ ，配备 8 个 GPU 的 NVIDIA DGX™ H100	搭载 1 至 8 个 GPU 的合作伙伴系统及 NVIDIA 认证系统
NVIDIA AI Enterprise	附加组件	已包含

* 采用稀疏技术显示。在不采用稀疏技术的情况下，规格降低一半。

初步产品规格。可能会发生变更。

NVIDIA H100 Tensor Core GPU

NVIDIA H100 Tensor Core GPU

NVIDIA H100 Tensor Core GPU

加速计算的数量级飞跃。

查看产品规格。

工作时间