技術解説

JAXとNVIDIA Transformer EngineによるDropless MoE学習の高速化

NVIDIAがJAXとTransformer Engineを組み合わせたDropless MoE学習の高速化手法を発表。DeepSeek-V3 671B学習時のスループットや再現設定を解説します。