推論エンジン「magnitude」CLI v0.2.8公開、8GB VRAMやGemma 4の最適化を強化

推論エンジン「magnitude」CLI v0.2.8公開、8GB VRAMやGemma 4の最適化を強化

基本情報

項目 内容
リポジトリ magnitudedev/magnitude
版 @magnitudedev/cli@0.2.8
公開日 2026-10-13
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリリースページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ハードウェア自動最適化を備えた推論エンジン「magnitude」のCLIツールにおいて、新バージョン「@magnitudedev/cli@0.2.8」が公開されました。magnitudeはRustで開発されているApache-2.0ライセンスのオープンソース推論エンジンであり、実行環境のハードウェアに合わせてカーネルを端末上で直接コンパイル・チューニングすることで、Apple Silicon、NVIDIA、AMD、CPUといった多様な環境でオープンモデルを高速に実行します。

本バージョンにおける最も大きな変更点は、8 GB GPU環境を中心としたVRAM管理の改善とメモリ消費量の削減です。GPUドライバが確保する領域を正しく除外して適合判定を行うよう見直されたほか、埋め込みテーブルのストリーミング化によってモデルのメモリ使用量が低減し、VRAM容量の逼迫によるモデルのアンロードや各種クラッシュが大幅に改善されています。該当環境で安定動作に悩まされていた利用者は、アップデートを推奨します。

主な変更点

Gemma 4向けドラフトモデルの連携と最適化の改善

Gemma 4モデルがカタログ上でアシスタントモデルとペアリングされるようになり、より高速なテキスト生成を行うためのドラフトヘッド(draft head)として活用できるようになりました。また、初回ロード時の最適化処理が設定された制限時間内に収まるように改善され、バージョン更新後に一部が未最適化のまま動作してしまう問題が解消されています。これにより、初回ロード完了後のGemmaのデコード処理がさらに高速化されます。Gemma 4をローカル環境で高速に動かしたい利用者に恩恵があります。

埋め込みテーブルのストリーミング化によるメモリ削減

モデルの埋め込みテーブル(Embedding tables)をメモリ全体に保持し続けるのではなく、ストリーミングして読み込む方式に変更されました。これにより、大規模モデル利用時のメモリ消費量が削減されます。具体的には、Qwen3.8 27Bモデルにおいて約600 MBのメモリ使用量削減が確認されています。VRAMやメインメモリの容量が限られている環境で大規模モデルを動かしている利用者にとって、動作の余裕をもたらす改善となります。

8 GB GPUにおける長文プロンプト処理とモデル保持の安定化

8 GBのVRAMを搭載したNVIDIAおよびAMDのGPUにおいて、長いプロンプトの後に複数のリクエストを同時に実行するとモデルが勝手にアンロードされてしまう不具合が修正されました。あわせて、これらの8 GB環境で扱えるプロンプトの長さも大幅に向上しており、MiniCPM5 2Bモデルでは従来の約26Kトークン付近で失敗していた処理が、約78Kトークンまで処理可能になっています。さらに、8 GBのAMD GPUで長いプロンプトを処理する際に処理がハングしてしまう問題も解消されています。

GPUメモリ判定および「Fits」ラベル表示の適正化

NVIDIAおよびAMDのGPU環境において、GPUドライバ自身が確保しているメモリ領域を利用可能領域としてカウントしないように修正されました。これにより、モデルの推薦表示や画面上の「Fits」ラベルの判定が、実際にGPUへ正常にロードできる条件と正確に一致するようになります。ラベル上は収まると表示されているにもかかわらずロード時にメモリ不足で失敗していた問題が防がれます。

Codexリクエストの展開サイズ制限によるメモリ爆発の防止

zstdで圧縮されたCodexリクエストを処理する際、ルーティング上限である128 MBを超えた時点でデコードを直ちに停止するように制限が設けられました(PR #182)。従来は上限チェックの前にリクエスト全体を展開していたため、数キロバイトの圧縮データがギガバイト単位のメモリを消費してゲートウェイを圧迫するリスクがありました。今後は128 MBを超えた段階で停止し、HTTP 413ステータスが返却されます。

Apple Silicon・Windows・内蔵GPU環境向け各種不具合の修正

各種ハードウェア固有のエラーについても多数の修正が行われています。まず、M1 MaxおよびM1 Ultraを搭載したMac環境において、Qwen 3.5、3.6、3.8モデルの実行時に「sampling distribution is nonfinite」というエラーで失敗していた問題が修正されました。また、Windows環境のAMD GPUでモデルのロード時にクラッシュする問題や、複数リクエストを同時実行した際に「target rows differ」というエラーが時折発生していた問題も解消されています。さらに、Intel UHD 770などのMagnitudeの動作要件を満たさない内蔵GPUを搭載したPCでは、ロードに失敗して終了するのではなく、CPUにフォールバックしてモデルを実行するように改善されました。

対応モデル・ハードウェア

本バージョンにて、正常な動作や最適化が確認・強化されたモデルアーキテクチャおよびハードウェア環境は以下の通りです。

対応モデル

  • Gemma 4: カタログ内でのアシスタントモデルとのペアリングに対応しました。これにより、推論時にアシスタントモデルをドラフトヘッド(draft head)として呼び出し、生成速度を向上させることが可能です。また、初回ロード時の最適化プロセスが改善され、デコード処理がより高速化されています。
  • Qwen 3.5 / 3.6 / 3.8: Apple Silicon環境(M1 Max / M1 Ultra)におけるサンプリング時の計算不具合が修正され、これらの高性能チップ上で安定した推論が可能になりました。
  • Qwen3.8 27B: 埋め込みテーブルのストリーミング化により、実行時のメモリ消費量が約600 MB削減されました。大規模なモデルをより少ないリソースで実行できます。
  • MiniCPM5 2B: 8 GB GPU環境におけるメモリ管理の改善により、最大トークン数が従来の約26Kから約78Kへと大幅に拡張されました。

対応ハードウェア・アクセラレータ

  • Apple Silicon (M1 Max / M1 Ultra): 特定のモデルアーキテクチャで発生していた非有限(nonfinite)なサンプリング分布のエラーが解消されました。
  • NVIDIA GPU (8 GB VRAM搭載モデル): GPUドライバの予約メモリを考慮した正確なメモリ判定に対応しました。また、長文プロンプト処理時の安定性が向上し、意図しないモデルのアンロードが防止されています。
  • AMD GPU (8 GB VRAM搭載モデル): Windows環境でのロード時のクラッシュ修正や、長文プロンプト処理中のハングアップ修正が行われ、安定性が向上しました。
  • Intel 内蔵GPU (Intel UHD 770等): Magnitudeの動作要件を満たさない内蔵GPU環境において、エラー終了せずに自動でCPU推論へフォールバックして実行する機能が追加されました。これにより、専用GPUを持たない環境でもモデルの実行が可能です。
  • マルチリクエスト環境: 複数のリクエストが同時に実行された際に「target rows differ」というエラーが発生し、リクエストが失敗する問題が修正されました。これにより、並列実行時の信頼性が向上しています。

アップデート方法

今回のリリース資料には、pip install や npm install といった具体的なインストールコマンドの記載はありません。最新バージョンである @magnitudedev/cli@0.2.8 を導入するには、公式のリリースページを確認してください。

magnitudeはRustで記述されたプロジェクトです。最新版を利用するには、通常、公式リポジトリから最新のソースコードを取得し、自身のハードウェア環境に合わせて再ビルドを行う必要があります。また、本バージョンでは初回ロード時の最適化処理が改善されているため、アップデート後の最初の実行時に最適化のための時間が確保されることに留意してください。

関連記事

次に読むなら

出典