Tag Archive

标签:H100

这里整理所有带有「H100」标签的文章,方便按主题快速回看。

H100

共 1 篇
实验分析 · 2026-04-29

Megatron reported TFLOP/s 的真实含义:small SWA、GQA、FP8、CP 与 fused kernel 的分子/分母分析

结合 Liangguang 实际使用的 Megatron 源码,拆解 reported TFLOP/s/GPU 的估算口径,并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。
实验分析MegatronMFUH100FP8SWAGQAContext Parallel