Magnitude CLI 0.2.10リリース:統合メモリと内蔵GPUのメモリ管理を改善

Magnitude CLI 0.2.10リリース:統合メモリと内蔵GPUのメモリ管理を改善

基本情報

項目 内容
リポジトリ magnitudedev/magnitude
版 @magnitudedev/cli@0.2.10
公開日 2026-10-20
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースノートが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

推論エンジン「Magnitude」のCLIツールである「Magnitude CLI」のバージョン0.2.10が公開されました。Magnitudeは、実行環境のハードウェア上でカーネルをチューニングし、各モデルを最速で実行する手法を適用するRust製のオープンソース推論エンジン(ライセンスはApache-2.0)です。Apple Silicon、NVIDIA、AMD、CPUで動作し、Ollamaより2倍高速であることを特長としています。

本バージョンでは、統合メモリや内蔵GPU、Linuxおよび仮想マシン環境におけるメモリ計算・管理処理の修正が行われました。モデルの読み込み失敗やメモリオーバーコミットに関する不具合が改善されたほか、特定の量子化形式や出力ヘッドを持つモデルの読み込み対応が強化されています。

主な変更点

統合メモリおよび内蔵GPUにおけるメモリ計画の修正

NVIDIA GB10やApple Siliconなどの統合メモリ(Unified Memory)環境、および内蔵GPU環境において、一回限りの最適化(one-time optimization)処理のメモリ計算が改善されました。読み込まれたモデルが既に使用しているメモリを過剰に割り当てる(オーバーコミットする)ことなくカウントするよう修正されています。

AMD Strix Haloといった内蔵GPU環境では、専用カーブアウト領域(carve-out)が満杯になった際に停止するのではなく、共有メモリ(shared memory)も活用して処理を継続するよう改善されました。また、GPUからメモリ割り当てが拒否された場合に処理を即座に失敗させるのではなく、割り当てを再試行する仕組みが追加されています。あわせて、アプリ上で各GPUが重複せず一回ずつ一覧表示され、Magnitudeが使用しているバックエンドが表示されるようになりました。

Linux環境および仮想マシンでのモデル読み込みの安定化

Linux実機および仮想マシン(VM)環境において、モデルの読み込みが失敗する問題が修正されました。OSのファイルキャッシュが保持しているメモリを利用可能領域として正確にカウントするよう変更されたため、システム側で解放可能なメモリがあるにもかかわらずメモリ不足で処理が失敗する事象が回避されます。

起動時に真のメモリ不足が発生した場合は、読み込みの途中で失敗するのではなく、再試行可能な問題として通知されるよう改善されました。また、推論エンジンが必要とする命令セットを備えていないCPU環境においては、モデルの読み込みを開始する前に明確な警告メッセージが出力されます。

量子化フォーマットと特定のモデル出力ヘッドに関する不具合修正

すべてのバックエンドにおいて、IQ2_XXS重みを持つモデルがサポートされました。同時に、Mac環境でIQ2_XS重みを持つモデルの読み込みが失敗していた問題が解決されています。

また、Q8_0出力ヘッドを持つモデルの読み込み失敗が修正されました。これにはMiniCPM5 1B Q8のほか、ドラフティング(drafting)機能をオフにした状態におけるQwen3.6 35B-A3BやQwen3.5 9B Q6が含まれます。さらに、一回限りの最適化処理において、大きな語彙(large vocabularies)を持つモデル向けの高速出力設定が再び選択可能になりました。

WebアプリUIの表示改善とRPMパッケージの競合回避

Webアプリのインターフェースにおいて、モデルのステータス表示で「最初のリクエスト時に自動的にモデルが読み込まれる」旨の説明が追加されました。また、Updateボタンにはアップデートによってどのような変化があるかを説明する案内が含まれるようになっています。

Linux環境向けには、RPMパッケージが他のインストール済みアプリケーションと共有ビルドIDを巡って競合する不具合が修正されました。

対応モデル・ハードウェア

本バージョンでは、最新のハードウェア特性を最大限に活かすための最適化と、特定の量子化形式を持つモデルへの互換性向上が図られています。利用可能なモデルと動作確認済みのハードウェア環境は以下の通りです。

対応モデルおよび量子化形式

  • IQ2_XXS 重みモデル: すべての計算バックエンドにおいて、極めて高い圧縮率を誇る IQ2_XXS 量子化形式のモデルがサポートされました。リソースが非常に限られた環境での選択肢が広がります。
  • IQ2_XS 重みモデル (Mac): これまで Mac 環境において IQ2_XS 重みのモデルが読み込みに失敗していた問題が修正され、Apple Silicon 等のデバイスで正常に動作するようになっています。
  • Q8_0 出力ヘッド採用モデル: モデルの最終層にあたる出力ヘッドに Q8_0 量子化が適用されているモデルの読み込みに対応しました。具体的には、MiniCPM5 1B Q8 のほか、ドラフティング(推論加速)機能を無効化した状態での Qwen3.6 35B-A3B および Qwen3.5 9B Q6 の動作がサポートされています。
  • 大規模語彙モデル: 語彙数(vocabulary size)が大きなモデルにおいて、一回限りの最適化プロセス中に、より高速な出力手法を再び選択できるようになりました。

最適化・改善されたハードウェア環境

  • NVIDIA GB10 および Apple Silicon: 統合メモリ(Unified Memory)環境において、モデルが既に使用しているメモリ量を正確にカウントし、物理メモリを超えた過剰な割り当て(オーバーコミット)を回避するようメモリプランニングが改善されました。
  • AMD Strix Halo (内蔵GPU): 内蔵 GPU 特有の専用メモリ領域(carve-out)が満杯になった場合でも、処理を停止させることなく、システム共有メモリを併用して推論を継続できるようになりました。これにより、内蔵 GPU の制限を超えたサイズのモデル実行が可能です。
  • Linux および仮想マシン (VM): OS のファイルキャッシュ領域を利用可能メモリとして正しく認識するよう修正されました。これにより、システム側で解放可能なメモリがあるにもかかわらず、メモリ不足としてロードが失敗する事象が解消されています。
  • CPU 命令セットの要件: 実行環境の CPU が Magnitude の動作に必要な命令セットを備えていない場合、モデルの読み込みを開始する前に明確なエラーメッセージで通知されるようになりました。不適合な環境での予期せぬクラッシュを未然に防ぐことができます。
  • GPU バックエンドの可視化: アプリケーション上で各 GPU デバイスが一回ずつリストアップされ、それぞれのデバイスに対して Magnitude がどのバックエンド(計算基盤)を割り当てて使用しているかが明示されます。

アップデート方法

Magnitude CLI のアップデート手順は、ご利用の OS やパッケージ形式によって異なります。

Linux (RPM パッケージ) をご利用の場合

本バージョンでは、他のインストール済みアプリケーションと共有ビルド ID が競合し、正常に動作しない問題が修正されています。以前のバージョンで競合が発生していたユーザーは、最新の RPM パッケージを再インストールしてください。

その他の環境および Web アプリ版

資料には pip や npm といった特定のパッケージマネージャーを用いた CLI の更新コマンドは明記されていません。最新のバイナリやソースコード、各プラットフォーム向けのパッケージについては、GitHub のリリースページから入手してください。

Web アプリ版をご利用の場合は、インターフェース上の「Update」ボタンをクリックすることで、アップデートによってもたらされる変更点の説明を確認し、更新を適用することが可能です。なお、モデルは最初のリクエスト時に自動的に読み込まれる仕様となっています。

関連記事

次に読むなら

出典