技術解説

NVIDIA、Transformer Engineを活用した生物系MoEモデルの効率的学習手法を公開

NVIDIAが公開した、Transformer Engineを用いた生物系MoEモデルの効率的学習手法を解説。GroupedLinearやMXFP8による高速化、Mixtral-8x7Bの学習レシピについて紹介します。