GLMが独自推論インフラ構築を発表、中国製アクセラレータ活用と大規模MoEのローカル実行手法
概要
GLM（z.ai）は、独自の推論インフラストラクチャを構築したことを発表しました。資料によると、100,000台以上の中国製AIアクセラレータで構成されたクラスタ上に、商用グレードの推論サービスをゼロから構築したと報告されています。このインフラストラクチャ上では、モデル「GLM-5.3-Flash」のすべてのプロダクション推論が稼働しているとされています。
発表の内容
公開された公式ブログ「GLM Built Its Own Inference Infrastructure」およびコミュニティで共有された抜粋によると、発表の中心は独自開発の大規模な推論基盤の稼働です。
同システムは、100,000台以上の中国製AIアクセラレータ（Chinese-made AI accelerators）からなるクラスタ上にゼロから構築されたものです。「GLM-5.3-Flash」のプロダクション環境におけるすべての推論処理がこのシステム上で実行されています。システムの実装にあたっては、一連の積極的なメモリ最適化（aggressive memory optimizations）が施されていると説明されています。
一方で、公式サービスであるz.ai経由での利用体験については、コミュニティにおいて推論速度の遅さや利用上限の厳しさが指摘されています。また、提供プランの価格に関して、最安プランが月額約20ドル、中位プランが月額約80ドルに設定されている点など、料金面での変更についても言及されています。
背景
推論インフラの独自構築に至った詳細な背景について、公式ブログの文脈以上の情報は資料に直接記載されていません。しかし、コミュニティの議論では、米国による半導体輸出規制などを背景として、中国企業が自国製AIチップおよびインフラのソフトウェア最適化を急速に進めている現状との関連が指摘されています。また、以前のGLMの発表と比較して、今回の発表が具体的なソフトウェアおよびインフラ最適化の技術的側面に焦点を当てた内容になっている点も議論されています。
ローカルLLMの利用者への影響
今回の発表はGLM側の商用クラウド推論インフラに関するものですが、ローカル環境でLLMを運用するエンジニアにとって関連するいくつかの情報が示されています。
まず、公式の推論インフラが独自アクセラレータ向けに最適化された一方で、今後のオープンウェイトモデルの公開継続方針や、既存モデルの配布形態・ライセンス条件についての具体的な変更や言及は資料内にはありません。
他方で、同系統のモデルを自前環境で実行するアプローチとして、コミュニティから注目すべき実装例が報告されています。「GLM-5.3」（744B MoE、4-bit experts、ディスク上のサイズは434 GB）について、NVMe SSDからエキスパートの重みをストリーミングして推論を行うツール「argodrive」（antirez/ds4をベースに構築）を用いた検証結果が共有されました。
この報告によると、メモリ容量が128 GBの単一のMacBook Pro M5 Max環境において、エキスパートをメインメモリに常駐させずにNVMe SSDからストリーミングすることで、744B規模のモデルの実行が可能であるとされています。記録された推論速度は以下の通りです。
- NVMeドライブ1基の構成：約2 tok/s
- 4基のNVMeドライブにストライピングした構成：3.5 tok/s（バイト単位で同一の出力を維持）
- 未公開パッチを適用した内部ビルド：4.2 tok/s
このように、大規模なクラスタによるクラウド側の推論最適化が進められる一方で、ローカル環境においても大容量MoEモデルを限られたメモリと高速ストレージの組み合わせで動作させる試みがエンジニアコミュニティ主導で進められています。