magnitudedev/magnitude v0.2.16 Released: GGUF and Docker Su…

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | magnitudedev/magnitude |
| 版 | @magnitudedev/cli@0.2.16 |
| 公開日 | 2026-11-04 |
| ライセンス | Apache-2.0 |
| 出典の種類 | 公開元の一次情報(公式GitHubリポジトリのリリースノートが一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
magnitudedev/magnitude の @magnitudedev/cli@0.2.16 がリリースされました。本プロジェクトは、ハードウェアに合わせてカーネルをチューニングすることで、各モデルを最速で実行することを目指すオープンソースの推論エンジンです。Apple Silicon、NVIDIA、AMD、Intel、またはCPU上で動作し、Ollamaよりも2倍高速であるとされています。
今回のアップデートにおける最も重要な変更点は、共有プロンプト・プレフィックスを持つ並行リクエストの処理能力が大幅に向上したことです。これにより、エージェントによる並列処理などのユースケースにおいて、劇的なパフォーマンス改善が期待できます。
主な変更点
並行リクエストにおける共有プレフィックスの高速化
同じ長いプロンプト・プレフィックスを共有する並行リクエスト(エージェントの並列サブエージェントなど)において、既存の計算結果を再利用する仕組みが改善されました。これにより、リクエストが共有プレフィックスの計算を待機して結果を再利用できるようになり、重複した計算が回避されます。
この変更は、複数のエージェントを並列で動かしているユーザーに大きな恩恵があります。例えば、NVIDIA A10Gを使用した場合、15K-tokenのプロンプトを共有する8つの並行リクエストの実行時間が、それぞれ226 sから3.5 sへと大幅に短縮されました。また、バッチ終了後も共有プレフィックスがキャッシュに保持されるため、繰り返し使用する場合も高速に動作します。
Dockerサポートの追加
x64およびARM64 Linux向けの公式Dockerイメージ magnitudedev/magnitude が提供開始されました。Docker Compose、Kubernetes、Podman(rootlessを含む)もサポートされています。
Linux環境でコンテナを利用したいユーザーに影響します。NVIDIA GPUはNVIDIA Container Toolkit経由で、AMDおよびIntel GPUはVulkan経由で利用可能です。ただし、Macではコンテナ経由でMetal(GPU)を使用できないため、フルスピードで動作させるにはmacOSネイティブアプリのインストールが必要です。モデルや設定は /data ボリュームに保存されるため、アップグレード後もデータは維持されます。
GGUF量子化形式の拡充とパフォーマンス改善
新しい量子化形式である Q1_0、IQ1_S、IQ1_M、IQ2_S、TQ1_0 モデルがロード・実行可能になりました。また、既存の Q2_K、Q3_K、Q4_1、IQ3_S、IQ4_XS、IQ4_NL、TQ2_0 についても、ロード時にサイズが拡張されずに保持されるようになり、より大きなモデルをメモリに載せることが可能になりました。
メモリ容量に制限がある環境でモデルを動かしているユーザーに影響します。デコード速度も向上しており、CUDAでは Q4_1、Q5_0、Q5_1、Q2_K、Q4_K、Q5_K で13〜23%の高速化、IQ3_XXS では2.5倍の高速化が報告されています。Metal環境でも、小規模なバッチにおいて Q8_0、Q5_0 やいくつかのIQ形式が29〜35%高速化されています。
モデル最適化プロセスの改善
モデルのダウンロード後に実行されるワンタイムの最適化プロセスが改善されました。以前は最適化中にチャットを開始するとプロセスが中断され、未調整の設定のまま動作することがありましたが、今後はロード中またはデバイスが空いた時に最適化が完了するようになります。
すべてのユーザーに影響します。UI上で「Optimizing」や「Optimization pending」といったステータスが表示されるようになりました。なお、このアップデート適用後、ダウンロード済みの各モデルで再度最適化が行われるため、次回のロード時に約1分程度の追加時間がかかる場合があります。
Linux環境におけるNVIDIA GPUのデコード速度修正
Linux上でNVIDIA GPUを使用している際、デコード中のメモリチェックが原因で動作が遅くなる問題が修正されました。以前はデコードのたびにすべてのGPUのメモリ予算を再確認していましたが、使用中のデバイスのみを確認するように変更されました。
LinuxでNVIDIA GPUを利用しているユーザーに影響します。これにより、A100を使用した Qwen3.5 4B のデコードステップが 13.0 ms から 6.7 ms へと短縮され、prefill も32%高速化されました。
チャット設定のモデル別デフォルト保存
各モデルに対してチャット設定(thinking level、system prompt、sampling settings、seed、stop sequencesなど)をデフォルトとして保存できるようになりました。
すべてのユーザーに影響します。新しいチャットを開始したりモデルを切り替えたりした際に、そのモデルのデフォルト設定が自動的に適用されます。設定画面では、現在のチャットが標準設定か、モデルのデフォルト設定か、あるいは個別に変更されたものかが判別可能です。
対応モデル・ハードウェア
新しい量子化形式である Q1_0、IQ1_S、IQ1_M、IQ2_S、TQ1_0 のGGUFモデルがロードおよび実行可能になりました。また、Q2_K、Q3_K、Q4_1、IQ3_S、IQ4_XS、IQ4_NL、TQ2_0 の各形式についても、ロード時にサイズが拡張されずに保持されるようになり、より大きなモデルをメモリに載せることが可能になっています。
ハードウェアについては、x64およびARM64のLinux環境において、公式のDockerイメージを用いた動作がサポートされました。NVIDIA GPUはNVIDIA Container Toolkitを介して、AMDおよびIntel GPUはVulkanを介して利用可能です。なお、Mac環境でコンテナを利用する場合、Metal(GPU)を経由した利用はできないため、フルスピードでの動作にはmacOSネイティブアプリの使用が推奨されています。
アップデート方法
Linux環境でDockerを使用する場合は、以下のコマンドで公式イメージを利用できます。
docker pull magnitudedev/magnitude
コンテナは自動でアップデートされないため、アップデート通知に従って docker pull を実行してください。
前回の記事からの更新履歴
当サイトがGitHubのリリース一覧から機械的にまとめた、この版と前回取り上げた版の間に出た版です(単独記事にはしていません)。 全ての版はエンジン別ページにあります。
| 版 | 公開日 | リリースノート |
|---|---|---|
| @magnitudedev/cli@0.2.15 | 2026-10-30 | GitHub |
関連記事
- @magnitudedev/cli v0.2.17公開:ARM CPUの推論高速化とコンテキスト長動的調整に対応
- magnitude CLI 0.2.14公開:CPUでのGGUFデコード高速化と耐障害性向上
- Magnitude CLI v0.2.12公開:インストーラー改善とQwen3.8モデルID変更
- ローカル推論エンジンMagnitude v0.2.11公開、カスタムGGUFモデルに対応
次に読むなら
- このツールの更新を追う → Magnitude の概要とリリース履歴(記録済み16版)
- 同じ分類(推論エンジン・ランタイム)の他のツール → llama.cpp / Ollama / vLLM

