llama.cpp v0.8.0リリース:LiquidAI LFM3や音声リアルタイムAPIに対応

llama.cpp v0.8.0リリース:LiquidAI LFM3や音声リアルタイムAPIに対応

基本情報

項目 内容
リポジトリ ggml-org/llama.cpp
版 v0.8.0
公開日 2026-10-28
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリリースで裏付け)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

llama.cppは、C/C++で記述されたLLM(大規模言語モデル)の推論エンジンです。今回のv0.8.0アップデートでは、LiquidAIのLFM3ファミリーへの対応や、音声ストリーミングのための新しいAPI、さらにはOpenAIのリアルタイムプロトコルを実装した新しいサーバーエンドポイントの追加など、マルチモーダル機能が大幅に強化されました。

このリリースにおける最も大きな変更点は、音声の入出力に関する新しい仕組みが導入されたことです。これにより、リアルタイムな音声対話や文字起こしといった、より高度なマルチモーダルな利用が可能になります。

破壊的変更・非推奨

今回のアップデートでは、APIの設計変更やCLIの仕様変更が含まれています。開発者やツールを利用しているユーザーは、以下の変更に注意してください。

項目 旧仕様 新仕様
CLI引数 (指定不要な場合あり) --model または -hf が必須
mtmd 音声生成API state_data バッファを使用 mtmd_gen_state オブジェクトを使用
no_alloc 設定 llama_hparams 内のパラメータ ロード/コンテキスト時の明示的な引数

CLIの変更は、コマンドラインから直接モデルを起動しているユーザーに影響します。また、mtmd APIの変更は、音声生成機能を自作のアプリケーションに組み込んでいる開発者に影響を与えます。メモリ管理の変更については、メモリ割り当てを制御する低レイヤーのコードを扱っている場合に注意が必要です。

主な変更点

LiquidAI LFM3ファミリーおよび多数の新アーキテクチャ対応

LiquidAIのLFM3シリーズ(text, vision, audio, omni)が新たにサポートされました。特にLFM3-Audio-2BやLFM3-Omni-2Bは、テキスト、画像、音声、ビデオといった多様な入力を処理でき、ASR(自動音声認識)やTTS(テキスト読み上げ)、音声チャット機能を備えています。また、DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark、Granite Switch Decisionなど、多くの新しいモデルアーキテクチャが追加されています。

音声ストリーミングとリアルタイムAPIの導入

マルチモーダル機能の拡張として、mtmdに実験的なmtmd_audio_stream APIが追加されました。これは、到着したPCMデータをデコーダーが利用可能な埋め込み行へと変換するものです。サーバー機能においては、OpenAIのリアルタイムプロトコルを実装した/v1/realtimeエンドポイントや、テキスト読み上げ用のPOST /ttsエンドポイントが導入されました。これにより、音声のストリーミング入出力を用いたリアルタイムな対話や文字起こしが実現します。

メモリ管理とMoEキャッシュの最適化

メモリ管理の仕組みが刷新されました。no_alloc(メモリ割り当てを行わない設定)は、モデルのハイパーパラメータから、ロード時やコンテキスト作成時のオプションへと変更されました。これにより、llama_kv_cacheやllama_moe_cacheなどの各メモリキャッシュにおいて、no_alloc設定が適切に尊重されるようになっています。また、MoE(Mixture of Experts)において、ホストメモリに保持されるエキスパートのキャッシュ方式が、従来のLRUから50/50 SLRUへと変更されました。さらに、Sparse Attention(QSA/DSA)の再設計も行われています。

UI/UXの強化とモデル管理の利便性向上

ユーザーインターフェースが大幅に改善されました。Hugging Face Hubから直接モデルを検索・ダウンロードできる機能が追加され、モデルの管理が容易になりました。また、過去の会話を検索するダイアログや、長い会話をコンテキスト制限内に収めるための「会話の圧縮(compaction)」機能も実装されています。これにより、ローカルでのモデル利用やチャット履歴の管理がよりスムーズになります。

対応モデル・ハードウェア

今回のアップデートでは、非常に多くの新しいモデルアーキテクチャがサポートされました。主な対応モデルは以下の通りです。

  • LiquidAI LFM3ファミリー: LFM3-1.7B (text), LFM3-VL-2B (vision), LFM3-Audio-2B, LFM3-Omni-2B。特にAudioおよびOmniモデルは、音声のストリーミング入出力やASR、TTS、音声チャットが可能です。
  • LiquidAI Decisionモデル: d1-2B, d1-omni-2B。
  • その他の新アーキテクチャ: DeepSeek V4.1 Flash, SenseNova U1, Beam (Reflection), Kolibri-1 (Aleph-Alpha), Flint, Muse Spark Open (text, vision and audio), Granite Switch Decision (256-way decision head), H2O-Lightning-4B, MiniCPM-OCR 1.0/Jev, Soprano TTS。
  • 埋め込みモデル: Nemotron-3.5-Embed(非標準のGQAおよびBPEトークナイザーをサポート)。

また、バックエンドのパフォーマンス改善により、CUDAでのチャンク化されたグラフ起動、SYCLでのグラフリプレイ、OpenCLでのQ2_K/Q3_K、Hexagon HTPの再構築、KleidiAI SVEカーネルなどが導入されており、特定のハードウェア環境での推論効率が向上しています。

アップデート方法

llama.cppのインストール手順は、ご利用の環境に合わせて以下のコマンドなどを利用してください。

# リポジトリを最新の状態に更新してビルドする場合の例
git pull && make

詳細なインストール手順については、公式のリポジトリをご確認ください。

当サイトの CPU での速さ

当サイトのサーバー(GPU なし、Neoverse-N1 の3スレッド)で、毎回同じモデル(unsloth/Qwen3-0.6B-GGUF の Qwen3-0.6B-Q4_K_M.gguf、版 50968a4468)を llama-bench(プロンプト512トークン・生成128トークン)で測りました。v0.5.0 のような版には公式のバイナリが付かないので、その版を含む最初の公式配布(ubuntu-arm64)で測り、「+N」はその配布が版より何コミット先かです。CPU での値で GPU の速さの目安ではありません。小さな差は測るたびのばらつき(± は標準偏差)の範囲のことがあります。

版 測った公式配布 プロンプト 生成
v0.8.0 b11960 127.9 ± 0.1 トークン/秒 42.4 ± 0.4 トークン/秒
v0.7.0 b11669 128.4 ± 0.1 トークン/秒 43.1 ± 0.2 トークン/秒

関連記事

次に読むなら

出典