llama.cpp v0.8.0リリース:LiquidAI LFM3や音声リアルタイムAPIに対応

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/llama.cpp |
| 版 | v0.8.0 |
| 公開日 | 2026-10-28 |
| ライセンス | MIT |
| 出典の種類 | 公開元の一次情報(公式GitHubリリースで裏付け) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
llama.cppは、C/C++で記述されたLLM(大規模言語モデル)の推論エンジンです。今回のv0.8.0アップデートでは、LiquidAIのLFM3ファミリーへの対応や、音声ストリーミングのための新しいAPI、さらにはOpenAIのリアルタイムプロトコルを実装した新しいサーバーエンドポイントの追加など、マルチモーダル機能が大幅に強化されました。
このリリースにおける最も大きな変更点は、音声の入出力に関する新しい仕組みが導入されたことです。これにより、リアルタイムな音声対話や文字起こしといった、より高度なマルチモーダルな利用が可能になります。
破壊的変更・非推奨
今回のアップデートでは、APIの設計変更やCLIの仕様変更が含まれています。開発者やツールを利用しているユーザーは、以下の変更に注意してください。
| 項目 | 旧仕様 | 新仕様 |
|---|---|---|
| CLI引数 | (指定不要な場合あり) | --model または -hf が必須 |
mtmd 音声生成API |
state_data バッファを使用 |
mtmd_gen_state オブジェクトを使用 |
no_alloc 設定 |
llama_hparams 内のパラメータ |
ロード/コンテキスト時の明示的な引数 |
CLIの変更は、コマンドラインから直接モデルを起動しているユーザーに影響します。また、mtmd APIの変更は、音声生成機能を自作のアプリケーションに組み込んでいる開発者に影響を与えます。メモリ管理の変更については、メモリ割り当てを制御する低レイヤーのコードを扱っている場合に注意が必要です。
主な変更点
LiquidAI LFM3ファミリーおよび多数の新アーキテクチャ対応
LiquidAIのLFM3シリーズ(text, vision, audio, omni)が新たにサポートされました。特にLFM3-Audio-2BやLFM3-Omni-2Bは、テキスト、画像、音声、ビデオといった多様な入力を処理でき、ASR(自動音声認識)やTTS(テキスト読み上げ)、音声チャット機能を備えています。また、DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark、Granite Switch Decisionなど、多くの新しいモデルアーキテクチャが追加されています。
音声ストリーミングとリアルタイムAPIの導入
マルチモーダル機能の拡張として、mtmdに実験的なmtmd_audio_stream APIが追加されました。これは、到着したPCMデータをデコーダーが利用可能な埋め込み行へと変換するものです。サーバー機能においては、OpenAIのリアルタイムプロトコルを実装した/v1/realtimeエンドポイントや、テキスト読み上げ用のPOST /ttsエンドポイントが導入されました。これにより、音声のストリーミング入出力を用いたリアルタイムな対話や文字起こしが実現します。
メモリ管理とMoEキャッシュの最適化
メモリ管理の仕組みが刷新されました。no_alloc(メモリ割り当てを行わない設定)は、モデルのハイパーパラメータから、ロード時やコンテキスト作成時のオプションへと変更されました。これにより、llama_kv_cacheやllama_moe_cacheなどの各メモリキャッシュにおいて、no_alloc設定が適切に尊重されるようになっています。また、MoE(Mixture of Experts)において、ホストメモリに保持されるエキスパートのキャッシュ方式が、従来のLRUから50/50 SLRUへと変更されました。さらに、Sparse Attention(QSA/DSA)の再設計も行われています。
UI/UXの強化とモデル管理の利便性向上
ユーザーインターフェースが大幅に改善されました。Hugging Face Hubから直接モデルを検索・ダウンロードできる機能が追加され、モデルの管理が容易になりました。また、過去の会話を検索するダイアログや、長い会話をコンテキスト制限内に収めるための「会話の圧縮(compaction)」機能も実装されています。これにより、ローカルでのモデル利用やチャット履歴の管理がよりスムーズになります。
対応モデル・ハードウェア
今回のアップデートでは、非常に多くの新しいモデルアーキテクチャがサポートされました。主な対応モデルは以下の通りです。
- LiquidAI LFM3ファミリー: LFM3-1.7B (text), LFM3-VL-2B (vision), LFM3-Audio-2B, LFM3-Omni-2B。特にAudioおよびOmniモデルは、音声のストリーミング入出力やASR、TTS、音声チャットが可能です。
- LiquidAI Decisionモデル: d1-2B, d1-omni-2B。
- その他の新アーキテクチャ: DeepSeek V4.1 Flash, SenseNova U1, Beam (Reflection), Kolibri-1 (Aleph-Alpha), Flint, Muse Spark Open (text, vision and audio), Granite Switch Decision (256-way decision head), H2O-Lightning-4B, MiniCPM-OCR 1.0/Jev, Soprano TTS。
- 埋め込みモデル: Nemotron-3.5-Embed(非標準のGQAおよびBPEトークナイザーをサポート)。
また、バックエンドのパフォーマンス改善により、CUDAでのチャンク化されたグラフ起動、SYCLでのグラフリプレイ、OpenCLでのQ2_K/Q3_K、Hexagon HTPの再構築、KleidiAI SVEカーネルなどが導入されており、特定のハードウェア環境での推論効率が向上しています。
アップデート方法
llama.cppのインストール手順は、ご利用の環境に合わせて以下のコマンドなどを利用してください。
# リポジトリを最新の状態に更新してビルドする場合の例
git pull && make
詳細なインストール手順については、公式のリポジトリをご確認ください。
当サイトの CPU での速さ
当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。
| 版 | 測った公式配布 | プロンプト | 生成 |
|---|---|---|---|
| v0.8.0 | b11960 | 127.9 ± 0.1 トークン/秒 | 42.4 ± 0.4 トークン/秒 |
| v0.7.0 | b11669 | 128.4 ± 0.1 トークン/秒 | 43.1 ± 0.2 トークン/秒 |
関連記事
- llama.cpp v0.6.0リリース:新バッチAPIやMetal高速化、新モデル対応
- C/C++ LLM推論ライブラリ「llama.cpp v0.5.0」リリース
- llama.cpp v1.0.0リリース:FP8 KV-cacheやサーバーセキュリティ強化に対応
- llama.cpp v0.9.0リリース:FP8量子化とGemma 4最適化に対応
次に読むなら
- このツールの更新を追う → llama.cpp の概要とリリース履歴(記録済み9版)
- 同じ分類(推論エンジン・ランタイム)の他のツール → Ollama / vLLM / SGLang
- 記事に出てくるエンジンを調べる → ggml
出典
- ggml-org/llama.cpp v0.8.0 (GitHub Release)
- PR #31252: LFM3 family support
- PR #31257: LFM3-Audio-2B and LFM3-Omni-2B support
- PR #31087: respect no_alloc in all memory caches
- PR #31141: move no_alloc out of llama_hparams
- PR #31200: remove obsolete n_pad from memory instances
- PR #31035: fix exhausting CPU and MEM caused by dry sequence breaker
- PR #30629: mtmd: add mtmd_audio_stream + support voxtral-realtime
- PR #30902: mtmd: refactor mtmd gen API, add state object
- PR #28607: mtmd : add Soprano audio generation

