双精度性能达到34TFlops了！天啊 FP16达到2TFlops，间接是AI怪兽！ 访存带宽达到3.35TB NVLINK带宽达到900 GB/s，天啊 内置800亿晶体管使用尖端的台积电4N为客户量身定制的流程NVIDIA的加速计算需求，H100是世界上有史以来制造的最先进的芯片。它在加速人工智能方面取得了重大进展，HPC、内存带宽、互连和数据中心规模的通信。
可能很多年还会是领先的存在。原因是： 1）美国把我们禁止了，否则 我国可以超过。 2）其他国家没有能力搞这个。
GPT-3 1750亿参数训练速度是A100的4倍，3950亿参数的MoE Switch XXL训练速度是A100的5-9倍，推理速度提升高达30倍。 |
说点什么...