C/C++ LLM推論ライブラリ「llama.cpp v0.5.0」リリース

2026年9月24日2026年11月4日

基本情報

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

C/C++によるLLM推論ライブラリであるllama.cppの最新バージョン、v0.5.0がリリースされました。今回のアップデートは、バックエンドのパフォーマンス向上、モデル対応の拡大、およびサーバー/ルーター動作の堅牢化に重点が置かれています。

利用者にとって最も影響が大きい変更は、バックエンド（ggml）のアップデートに伴う、CUDAにおけるconv2dのimplicit GEMMによる加速や、MetalにおけるMoEおよびSSM_CONVの融合最適化といった、ハードウェアアクセラレーションの強化です。これにより、特定の環境下での推論パフォーマンス向上が期待できます。

主な変更点

バックエンドとハードウェアアクセラレーションの最適化

CUDA環境において、implicit GEMMを用いることでconv2d演算が加速されました。また、Metal環境ではMoE（Mixture of Experts）およびSSM_CONVの融合（fusion）最適化が追加されています。これらは、NVIDIA GPUやApple Siliconを使用しているユーザーの推論速度に直接影響を与える変更です。

サーバー機能の拡張とマルチアドレス対応

llama-serverにおいて、--hostオプションがカンマ区切りのTCPアドレスおよびUNIXソケットを受け入れられるようになりました。これにより、例えばVPN経由の接続とlocalhost経由の接続を同時に待ち受けるといった、複数のネットワークインターフェースへのバインドが可能になります。サーバーを複数のネットワーク環境で運用している技術者にとって非常に有用な機能です。

新しいモデルアーキテクチャへの対応

多くの新しいモデルやアーキテクチャへの対応が進められました。具体的には、HRM-Text (DFM Mimir 1B) のサポート、MiMo-V2.6の変換サポート、HunyuanOCRに対するDFlash（投機的デコード）のサポートなどが含まれます。また、Nemotron MTPのサポート拡張や、Qwen4Expのハイパーコネクション演算およびsparse flash attentionへの対応も行われています。新しいモデルをローカル環境で試したいユーザーは、これらの対応によりGGUF形式での利用が可能になります。

サーバーの出力におけるマルチモーダル対応

サーバーのfunction-call（関数呼び出し）の出力において、input_imageのサポートが追加されました。これにより、ツール実行の結果として画像データを扱うといった、より高度なマルチモーダルなエージェント機能の構築が可能になります。Gemma 4などのマルチモーダルモデルを利用して、画像を含む複雑なタスクを処理する開発者に影響があります。

環境変数によるサンプリング制御

temperature、top-p、min-p、および各種ペナルティの設定を、環境変数経由で行えるようになりました。これにより、コードを書き換えることなく、実行環境の設定だけでサンプリングパラメータを制御できるようになります。推論の挙動を動的に調整したいユーザーにとって利便性が向上します。

対応モデル・ハードウェア

今回のリリースでは、以下のモデルアーキテクチャおよび形式への対応が強化されています。

• HRM-Text (DFM Mimir 1B): 新たにサポートされました。このモデルは2つのトランスフォーマー・スタックを交互に実行する構造を持っており、GGUF形式での利用が可能です。
• MiMo-V2.6 (Pro/Flash): 変換サポートが追加されました。これらのモデルはmxfp4エキスパートを使用しており、vision機能を持った状態でllama.cppにロードできます。
• HunyuanOCR: DFlashを用いた投機的デコード（speculative decoding）がサポートされました。これにより、ドキュメント画像のOCR処理において、デコード速度が約2倍に向上することが報告されています。
• Nemotronシリーズ: Nemotron Super 3におけるMTP（Multi-Token Prediction）サポートが拡張されました。
• Qwen4Exp: ハイパーコネクション演算およびsparse flash attentionへの対応が行われました。
• Muse Glimmer: --fuse-qkvオプションによるサポートが追加されました。
• Gemma 4: パースの修正が行われ、Gemma 4 DSpark draft backboneのサポートも含まれています。

アップデート方法

llama.cppをアップデートするには、以下のいずれかの方法を行ってください。

ソースからビルドする場合 リポジトリをクローンし、ビルド手順に従って再ビルドしてください。

git pull && make

Dockerを使用する場合 Dockerイメージを使用している場合は、最新のイメージを取得してください。

バイナリを使用する場合 リリースページから、最新のプリビルド済みバイナリをダウンロードしてください。

当サイトの CPU での速さ

当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。

関連記事

• llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応
• 推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
• llama.cpp v0.4.1公開：ロード方式の変更と新モデルサポート
• ggml v0.24.0リリース：精度制御APIの追加とバックエンド強化

次に読むなら

• このツールの更新を追う → llama.cpp の概要とリリース履歴(記録済み8版)
• 同じ分類(推論エンジン・ランタイム)の他のツール → Ollama / vLLM / SGLang
• 記事に出てくるエンジンを調べる → ggml

出典

• https://github.com/ggml-org/llama.cpp/releases/tag/v0.5.0

更新履歴

• 2026-10-03: 当サイトでの実測(この版のCPUでの速さ)を追加しました。