ローカル推論エンジンMagnitude v0.2.11公開、カスタムGGUFモデルに対応

ローカル推論エンジンMagnitude v0.2.11公開、カスタムGGUFモデルに対応

基本情報

項目 内容
リポジトリ magnitudedev/magnitude
版 @magnitudedev/cli@0.2.11
公開日 2026-10-26
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースノートが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ローカル推論エンジンのMagnitudeにおいて、最新版となる @magnitudedev/cli@0.2.11 が公開されました。Magnitudeは、実行環境のハードウェアに合わせてカーネルを自動チューニングし、高速な推論を実現するRust製のオープンソース推論エンジンです(Apache-2.0ライセンス)。

今回のリリースにおける最大の変更点は、公式カタログに登録されているモデルだけでなく、任意のカスタムGGUFモデルの実行に幅広く対応したことです。Hugging Face上のモデル検索やダウンロードに加え、PC内にすでに存在するOllamaやLM Studioなどのキャッシュファイルを複製せずにそのまま利用できるようになり、手元にあるモデル運用の自由度が大幅に向上しています。

破壊的変更・非推奨

OpenAI互換APIおよびAnthropic互換APIにおいて、デフォルトのサンプリングパラメータが変更されました。また、Anthropic互換APIでも top_k パラメータが受け付けられるようになっています。

API パラメータ 変更前の既定値 変更後の既定値
OpenAI API temperature 0.8 1.0
OpenAI API top_p 0.95 0.95
OpenAI API top_k なし(未指定) 20
Anthropic API temperature 1.0 1.0
Anthropic API top_p 1.0 0.95
Anthropic API top_k なし(未サポート) 20

この変更は、Magnitudeの互換APIサーバーを利用し、リクエスト側でサンプリングパラメータを明示的に指定していないユーザーに影響します。パラメータを省略した際に出力の多様性や決定性が以前と変わる可能性があるため、必要に応じてクライアント側から明示的に値を指定してください。

主な変更点

カスタムGGUFモデルへの対応とローカルキャッシュの自動検出

Magnitudeがサポートしているモデルファミリーであれば、カタログ外の任意のGGUF(異なる量子化、ファインチューン、マージモデル、規制解除版など)を実行できるようになりました。デスクトップアプリ、Webアプリ、CLI(magnitude catalog search、inspect、pull)からHugging Face上のモデルを検索して追加できます。ダウンロード前に、モデルのサイズ、手元のPCで動作可能かどうか(動作不可の場合はその理由)、ゲート付きモデルかどうかが確認可能です。ゲート付きモデルはHugging Faceへ一度サインインすることでダウンロードできます。

さらに、PC内に存在するHugging Faceキャッシュ、LM Studio、llama.cppキャッシュ、Ollama、ユーザーが追加したフォルダ内のモデルファイルを自動検出して配置場所のまま利用します。ファイルを複製することなく読み込めるほか、カタログモデルがすでに手元にある場合は再ダウンロードを回避します。また、モデルごとに利用可能な最適なドラフター(自身のリポジトリやフォルダ、適合するカタログモデル、内蔵MTPヘッドなど)が自動設定され、変更や無効化も可能です。

ネイティブChatタブの追加

デスクトップ向けにネイティブな「Chat」タブが追加されました。ローカルモデルによるストリーミング出力、パフォーマンスメトリクスの表示、思考(Reasoning)制御、生成パラメータの設定、SQLiteを用いた会話履歴の保存に対応しています。コードブロックの言語ラベル表示、シンタックスハイライト、個別のコピー機能が利用できるほか、Markdownの見出しやネストされたスペースの表示も改善されています。

幅広い環境における推論処理の高速化

ハードウェアに応じた複数の性能改善が実施されました。AVX2またはVNNI命令セットを備えたx86 CPU環境では、k-quant、Q8、4-bit codebookの重みにおいて実行速度が向上しています。NVIDIA GPU環境ではIQ2_XXSの読み込みが高速化されたほか、トークンテーブルをストリーミングするモデルのデコード処理が高速化されました。資料によると、GB10環境におけるNemotron 3.5 Bolt(ドラフティング無効時)のデコード速度は、従来の36.0 tok/sから41.9 tok/sへ向上しています。

また、Linux上のAMD GPU(Vulkan、RADV)においてモデルプログラムの準備に要する時間とメモリが大幅に削減されました。投機的デコーディング(ドラフティング)では、直近のステップで実際に要した時間をもとに動作が判定されるよう改善され、1回の遅延ステップで停止することがなくなりました。さらに、メッセージごとに会話全体を走査するチャットテンプレートのレンダリング遅延が解消され、短い応答のターンではキャッシュされた会話から再開できるようになっています。

メモリ計画の精度向上と安定性の改善

モデル適合チェック(Fit checks)においてバックエンド固有のメモリコストが正確に計算されるようになりました。これにより、動作可能と表示されたモデルがロードに失敗する問題や、長い会話のプロンプトキャッシュが想定サイズを超えて増大する問題が解消されています。VRAMが不足する小型GPUでは、ロード時にクラッシュするのではなく適合しない旨が表示されます。また、内蔵GPUとディスクリートGPUの両方を搭載するPCでは、ディスクリートGPU側を自動選択して使用デバイスを表示するようになりました。

モデルカタログの拡充とLiLiCorrおよびNVFP4対応

カタログに「Nemotron 3.5 Bolt 74B-A9B」「Nemotron 3.5 Super VL 120B-A12B(ビジョン対応)」「Qwen 3.8 Flash Next NVFP4」が追加されました。Nemotron 3.5モデルでは、DFlash2を上回る評価を得ている新しいドラフティング手法「LiLiCorr」を採用しています。GB10環境におけるBoltのデコード速度は55.7 tok/s(llama.cppの51.6 tok/sに対して)を記録しています。また、NVIDIAのアクティベーションスケールを持つNVFP4モデルはFP4 Tensorコアを活用可能で、GB10環境のSuper VL NVFP4におけるプレフィル速度は826 tok/s(llama.cppの552 tok/sに対して)を達成しています。

個別モデルの不具合修正

LFM2.5 InstructおよびThinkingモデルでのReasoning機能の動作、Gemma 4における思考出力の制御、ファインチューンモデルでのベースモデル由来ビジョンプロジェクターの利用、予測ヘッドを内蔵しないQwen 3.5モデルの実行に対応しました。さらに、Vulkanバックエンドにおけるサンプリング確率の計算や重み形式のコンパイルエラー、Metalにおける重みパッキングの不具合が修正されています。

対応モデル・ハードウェア

今回のバージョン 0.2.11 では、モデルカタログへの新規追加、カスタムGGUFモデルとしての動作対応、および各種ハードウェア向けのバックエンド機能強化が行われています。

新規対応モデル

公式カタログに以下のモデルが新しく追加されました。いずれも標準の推論機能に加えて、最新の投機的デコーディング手法や量子化形式を活用できます。

  • Nemotron 3.5 Bolt 74B-A9B: 新しいドラフティング手法である「LiLiCorr」(DFlash2よりも上位と評価されている手法)による投機的デコーディングに対応しています。GB10環境において、ドラフティングなしの場合で41.9 tok/s、LiLiCorr適用時で55.7 tok/sのデコード性能を発揮します。
  • Nemotron 3.5 Super VL 120B-A12B: ビジョン機能を備えたマルチモーダルモデルです。通常の重み形式に加えてNVFP4バリアントも提供され、FP4 Tensorコアを搭載したGPUにおいて高速なプレフィル処理が可能です。
  • Qwen 3.8 Flash Next NVFP4: NVIDIAのアクティベーションスケールを保持したNVFP4形式のモデルです。

さらに、カスタムモデル(ローカルファイルやHugging Faceからの手動追加)として、以下のモデルの実行に正式対応しました。

  • Nemotron 3 Super
  • Nemotron 3 Ultra
  • Qwen 3.5(内蔵予測ヘッドなしの構成): 予測ヘッドを持たないバリアントでも正常にロードして実行できるようになりました。
  • LFM2.5 Instruct / Thinking: 思考プロセスの出力(Reasoning)が正常に機能するようになりました。
  • Gemma 4: 思考モードのオン・オフ制御に対応し、思考出力を明示的に無効化しない限り思考プロセスを出力する挙動に対応しました。
  • 各種ファインチューンモデル: ベースモデルが持つビジョンプロジェクター(Vision Projector)を流用したファインチューンモデルの推論が可能になりました。

量子化形式

対応する量子化形式および重みタイプの最適化が進められています。

  • NVFP4: NVIDIAのアクティベーションスケールを含むNVFP4モデルに対応しました。FP4 Tensorコアを備えたGPU環境においてネイティブ実行され、大幅なプレフィル速度の向上が得られます。
  • IQ2_XXS: NVIDIA GPU環境において重みデータの読み込み速度が向上しました。
  • k-quant / Q8 / 4-bit codebook: x86 CPU環境において処理が最適化され、実行速度が向上しています。

ハードウェア・アクセラレータ

各プラットフォームにおけるGPUおよびCPUへの対応と安定性が強化されています。

  • NVIDIA GPU: GB10などの最新アーキテクチャにおけるFP4 Tensorコアの活用が進められたほか、トークンテーブルをストリーミングするモデルのデコード処理が高速化されました。また、内蔵GPU(iGPU)とディスクリートGPU(dGPU)が混在するPC環境では、自動的にディスクリートGPUが優先して割り当てられ、使用中のデバイス名が表示されるようになっています。
  • AMD GPU (Linux): VulkanおよびRADVドライバ環境において、モデル実行に必要なシェーダープログラムの準備処理が見直され、準備に要する時間と消費メモリが大幅に削減されました。また、Vulkanバックエンドにおけるサンプリング確率計算の修正や、一部の重み形式で発生していたコンパイルエラーが修正されています。
  • Apple Silicon (macOS): Metalバックエンドにおいて発生していた重みパッキング(weight-packing)の不具合が修正され、動作の安定性が向上しました。あわせてmacOS向け初期セットアップ処理の不具合も修正されています。
  • x86 CPU: AVX2命令またはVNNI命令をサポートするCPU環境において、各種量子化形式の推論演算が高速化されました。また、大型画像の入力時にCPU推論が数分間にわたって占有される問題が解消されています。

アップデート方法

今回の更新は @magnitudedev/cli のバージョン 0.2.11 として配信されています。

資料内には更新コマンドの直接的な記載はありませんが、デスクトップアプリやCLI環境を利用している場合は、公式の配布ページや各環境のパッケージ管理ツールを通じて最新版を入手してください。なお、Windows 10環境において従来のバージョンから更新する際に既存のアプリケーションが正常に置き換わらない不具合が本バージョンで修正されているため、Windows環境でも安全にアップグレードが可能です。

最新のインストーラーや各プラットフォーム向けバイナリの詳細については、以下の公式リリースページをご確認ください。

関連記事

次に読むなら

出典