@magnitudedev/cli v0.2.17公開:ARM CPUの推論高速化とコンテキスト長動的調整に対応

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | magnitudedev/magnitude |
| 版 | @magnitudedev/cli@0.2.17 |
| 公開日 | 2026-11-09 |
| ライセンス | Apache-2.0 |
| 出典の種類 | 公開元の一次情報(公式GitHubリリースノートで裏付けあり) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
オープンソースの推論エンジンMagnitudeのCLIツール「@magnitudedev/cli」バージョン0.2.17が公開されました。MagnitudeはRust言語で開発されているApache-2.0ライセンスの推論エンジンで、ハードウェアに合わせてカーネルをチューニングし、各モデルを最速で実行できるように最適化を行うソフトウェアです。
本バージョンにおける最も大きな変更点は、マシンの空きメモリに応じて提供可能な最大コンテキスト長を自動調整してモデルを起動できるようになった点です。これにより、フルコンテキストではメモリ不足になるモデルでも、起動を拒否されることなく32K以上の収まるサイズで安全に利用できるようになりました。また、ARM CPU環境における推論処理の大幅な高速化や、GPUメモリ推定の精度向上も行われています。
主な変更点
メモリ容量に合わせたコンテキスト長の動的調整
コンピュータのメモリにフルコンテキストが収まらないモデルについて、従来の起動拒否から、32Kからフル長までの範囲で収まる最大のコンテキスト長を提供して起動する方式に変更されました。Discover機能では64Kコンテキストに達する最高品質のバージョンを優先して推奨し、必要に応じて32Kへフォールバックします。
この変更は、チャット機能、/v1/models API、および接続された各種エージェント(Claude Code、Codex、OpenCode)に影響します。例えばClaude Codeでは200Kコンテキストを一律で前提とするのではなく、提供されたコンテキスト長に到達する前に自動で圧縮を行います。提供コンテキスト長を超えるプロンプトは context_length_exceeded エラーとして拒否されます。モデルのロード前にメモリチェックが行われるため、保持できないサイズで無理に読み込まれる心配はありません。
モデルメモリの内訳表示(重み・コンテキスト・オーバーヘッド)
モデルが消費するメモリの内訳として、重み(weights)、コンテキスト(context)、オーバーヘッド(overhead)を個別に確認できるようになりました。アプリ内ではモデルカードのメモリ表示横にある情報アイコンや、DiscoverレーダーのFit横から内訳を確認できます。
また、CLIの magnitude catalog show や magnitude models status コマンド、およびそれらの --json 出力にも内訳が含まれます。magnitude hardware コマンドでもロード中モデルの各メモリ項目がSettings画面と同じ算出方法で個別に表示されます。フルコンテキストで収まらない場合にどのコンテキスト長で提供されているかや、モデルが収まらない理由も確認可能です。
ARM CPU環境におけるQ8_0推論カーネルの刷新と大幅な高速化
AWS GravitonやAmpereなど、dot-product命令を備えたARM CPU向けに新しいカーネルが導入され、Q8_0モデルのプロンプト処理とトークン生成が大幅に高速化されました。Linux ARM64ビルドでは、実行時にこれらの命令の有無が自動検出されます。
バージョン0.2.16と比較して、プロンプト処理は4〜13倍、トークン生成は1.4〜5倍高速化されています。資料に示された例では、Graviton4環境におけるQwen3.5 4B Q4のプロンプト処理が3.8 tokens/sから45 tokens/sへ、トークン生成が3.0 tokens/sから14.7 tokens/sへと向上しています。ARMサーバーでCPU推論を行っているユーザーは、更新するだけで大幅な性能改善の恩恵を受けられます。
NVIDIAおよびAMD GPUにおけるメモリ推定精度の向上
CUDA環境およびVulkan環境において、モデルのロードに必要なメモリの事前推定処理が改善されました。CUDAでは固定の1 GB枠を確保する代わりにアロケータが再利用できないメモリのみを計算するよう変更され、ドライバがカーネル実行用に予約するメモリも正確にカウントされるようになりました。これにより、8 GBの小型GPUにおいて従来は32Kに制限されていたモデルが最大128Kのフルコンテキストでロードできるようになっています。
さらに、Mixture-of-Experts(MoE)モデルをCUDAやVulkanで動かす際に、推定値よりも数ギガバイト多くメモリを消費してしまう問題が解消されました。GPUの空き容量不足による予期せぬメモリ枯渇(OOM)を防ぎたいユーザーにとって重要な改善です。
カタログモデルの共有ファイル削除やMTP並行処理の修正
カタログモデルの特定バージョンを削除した際に、インストール済みの別バージョンと共有している画像ファイルまで誤って削除されてしまい画像が読み込めなくなる問題が修正されました。また、独自のMTP(Multi-Token Prediction)ヘッドを用いてドラフトを行うモデルに対し、並行リクエストを送ると「a causal head in a drafting batch has no selection」というエラーで失敗していた不具合も解消されています。
加えて、ダウンロード開始時に接続が切断された場合のエラー終了を防いで再試行する処理の追加、ダウンロード失敗理由のログ出力、アップデート取得中にさらに新しいリリースが公開された場合の自動差し替え、macOSアプリアイコンの角丸形状の微調整が行われています。
対応モデル・ハードウェア
今回のバージョン0.2.17では、対応するハードウェアの拡張や特定のモデルアーキテクチャ・量子化形式への最適化が多数盛り込まれています。手元の環境や実行したいモデルに合わせて以下の改善点を確認できます。
最適化されたハードウェア
- ARM CPU(AWS Graviton / Ampereなど): dot-product(内積)命令を搭載したARMプロセッサへの最適化が行われました。AWS Gravitonシリーズ(Graviton4など)やAmpereコンピューティングのプロセッサが対象です。Linux ARM64向けビルドでは、起動時にCPUがdot-product命令をサポートしているかを自動検出する仕組みが組み込まれました。これにより、特別な設定を手動で行うことなく、ハードウェアの機能を最大限に活用した推論が行われます。
- NVIDIA GPU(CUDA): CUDA環境におけるメモリ管理アロケータの挙動とドライバ予約メモリの計算方法が見直されました。VRAM容量が8 GBクラスの比較的小型なGPUであっても、従来は32Kに制限されていたモデルが最大128Kのフルコンテキストで実行可能になるなど、メモリリソースの有効活用が進んでいます。
- AMD GPUおよびVulkan環境: Vulkanバックエンドを利用する環境全般において、後述するMoEモデルのメモリフットプリント推定が修正され、予期せぬメモリ消費の超過が抑えられるようになっています。
対応・改善されたモデルおよび量子化形式
- Q8_0量子化形式: dot-product命令を備えたARM CPU向けに専用カーネルが実装され、Q8_0形式のモデルにおけるプロンプト処理およびトークン生成の双方が大幅に高速化されました。
- Qwen3.5 4B(Q4量子化など): リリースノートでは動作検証の具体例としてQwen3.5 4BのQ4モデルが挙げられており、Graviton4環境でプロンプト処理が3.8 tokens/sから45 tokens/sへ、生成が3.0 tokens/sから14.7 tokens/sへと向上することが実測値として示されています。
- Mixture-of-Experts(MoE)モデル: CUDAおよびVulkan環境において、実行時に推定値を数ギガバイト上回るGPUメモリを消費していた問題が解消されました。大規模なMoEアーキテクチャのモデルでも、事前見積もりに沿った安定したロードが可能です。
- MTP(Multi-Token Prediction)ドラフト対応モデル: 自身のMTPヘッドを活用して投機的サンプリング(ドラフティング)を行うモデルにおいて、並行リクエスト処理時に発生していた内部エラーが修正され、安定した推論処理が行えるようになりました。
- 画像入力対応モデル(ビジョンモデル): カタログモデルの複数バージョンを管理している環境において、共有されている画像ファイルの取り扱いが改善され、マルチモーダル推論の安定性が向上しています。
アップデート方法
本リリースにおける具体的なインストールコマンドは資料に記載されていないため、最新バージョンへの更新にあたっては公式リリースページおよびMagnitudeの公式サイトをご確認ください。
Magnitudeのデスクトップアプリケーションをご利用の場合は、更新のダウンロード中にさらに新しいリリースが公開された場合でも、自動的に新しいバージョンを検知して古いダウンロードを置き換える機能が備わっています。更新通知に従ってアップデートを適用することが可能です。
CLIツール(@magnitudedev/cli)を利用されている環境や、各プラットフォームでの詳細な導入手順・パッケージの取得については、以下の公式リソースを参照してください。
- GitHub リリースページ: magnitudedev/magnitude @magnitudedev/cli@0.2.17
- プロジェクト公式サイト: magnitude.dev
関連記事
- 推論エンジン「@magnitudedev/cli」v0.2.5公開、M5 Mac対応やMoE高速化
- magnitudedev/magnitude v0.2.16 Released: GGUF and Docker Su…
- magnitude CLI 0.2.14公開:CPUでのGGUFデコード高速化と耐障害性向上
- Magnitude CLI v0.2.12公開:インストーラー改善とQwen3.8モデルID変更
次に読むなら
- このツールの更新を追う → Magnitude の概要とリリース履歴(記録済み16版)
- 同じ分類(推論エンジン・ランタイム)の他のツール → llama.cpp / Ollama / vLLM

