ggml-org/tinyLFM3-Omni-for-testing-gguf Released for llama.…

ggml-org/tinyLFM3-Omni-for-testing-gguf Released for llama.…

基本情報

項目 内容
リポジトリ ggml-org/tinyLFM3-Omni-for-testing-gguf
公開日 2026-11-06
ライセンス lfm1.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリのCI用テストモデル)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgは、llama.cppのソフトウェアテストおよびCI(継続的インテグレーション)での動作検証を目的とした軽量リポジトリ「ggml-org/tinyLFM3-Omni-for-testing-gguf」をHugging Face上で公開しました。本リポジトリは、LiquidAIが開発したマルチモーダルモデル「LiquidAI/LFM3-Omni-2B」のコードパスを軽量環境で動作させるために、パラメータやレイヤー数を大幅に削減して構築されたテスト用モデルです。

本モデルから出力されるテキストや音声は意味をなさない無意味なデータ(gibberish)であり、実際の対話や推論用途には使用できません。目的はあくまで、CI環境などの限られたリソース上で、llama.cppにおけるTTS(音声合成)、ASR(音声認識)、リアルタイム音声入力、画像入力処理などのコードパスが正常に機能するかどうかを検証することにあります。

発表の内容

本リポジトリで公開されたモデルデータの特徴、およびオリジナルモデルからの具体的な変更手順と構成内容は以下の通りです。

開発・検証の目的と利用案内

本モデルは、llama.cppのCIテスト用に作られています。LFM3-Omniのモデル構造を維持しているため、本物のモデルと同じ実行パスを通すことができますが、モデルサイズが小さいためCI環境に適しています。実用的な推論や対話を行う用途には設計されていないため、実際のモデルを利用したい場合は、本物のモデルである ggml-org/LFM3-Omni-2B-GGUF(https://huggingface.co/ggml-org/LFM3-Omni-2B-GGUF)を使用するよう案内されています。

オリジナルモデルからの構造的変更

元の LiquidAI/LFM3-Omni-2B の safetensors から、llama.cppの slice-model 機能に準拠したスクリプト slice_lfm3omni.py を用いてスライス処理を行い、convert_hf_to_gguf.py によってGGUF形式へ変換が行われました。各コンポーネントに対する変更内容は以下の通りです。

  • Text model(テキストモデル): 元の全24層から4層(0, 2, 3, 4層)のみを抽出し、hidden sizeを2048から256へ、アテンションヘッド数を16から2へ、KVヘッド数を4から1へ、FFN(Feed-Forward Network)の次元数を7680から256へ縮小しています。
  • Audio encoder(音声エンコーダー): 全17層から3層(0, 2, 3層)を抽出し、FFNの次元数を1792から256へ縮小しています。
  • Depthformer: 全3層から1層のみを抽出し、hidden sizeを1024から128へ、アテンションヘッド数を32から4へ、KVヘッド数を8から1へ、FFNの次元数を2816から256へ縮小しています。
  • Audio codec(音声コーデック): ローダー側の仕様上、全8層をすべて保持していますが、FFNの次元数を2304から256へ縮小しています。
  • Vision encoder(ビジョンエンコーダー): 全14層から2層(0, 2層)を抽出し、hidden sizeを1024から256へ、アテンションヘッド数を16から4へ、KVヘッド数を8から2へ、FFNの次元数を2560から256へ、プロジェクターの次元数を4096から256へ縮小しています。

追加処理と機能調整

変換されたGGUFファイルに対して、finish_gguf.py スクリプトを使用して以下の追加処理と調整が行われています。

  • 量子化の実施: 重みデータは Q2_K、Q4_K、および Q4_0 の各量子化形式で提供されています。
  • チャットテンプレートの追加: 元のモデルには存在しない LFM3-Audio の asr チャットテンプレートが追加されました。これにより、テスト目的でライブ文字起こし機能の動作パス(/v1/realtime?intent=transcription)を検証できるようになっています。

モデルのライセンスには lfm1.0 が指定されており、タグとして gguf、testing、conversational などが付与されています。

背景

llama.cppは、多様なオープンウェイトモデルをローカル環境で実行するための推論エンジンとして開発が続けられています。LiquidAIが開発したマルチモーダルモデル「LiquidAI/LFM3-Omni-2B」への対応にあたり、TTS(音声合成)、ASR(音声認識)、リアルタイムでの音声入力および画像入力といった各種モジュールの処理パスがllama.cppに実装されています。

オープンソースソフトウェアの開発において、新機能の追加やリファクタリング時に既存機能の動作を保証するCI(継続的インテグレーション)の自動テストは非常に重要な役割を果たします。しかし、オリジナルのモデルサイズ(2B規模)をそのままCI環境で読み込んで検証を行うと、ストレージやメモリの制限、テスト実行時間の増大といった課題が生じます。そのため、実モデルと同じアーキテクチャを保持して同じコードパスを通しつつ、CI環境で軽量かつ高速に動作させることができるテスト専用の軽量化モデルが必要とされていました。

ローカルLLMの利用者への影響

今回公開されたテスト用リポジトリが、ローカル環境でモデルを動かす技術者やユーザーに与える主な影響や留意点は以下の通りです。

実際の対話・推論用途での利用不可

本リポジトリで提供されているモデルは、オリジナルモデルから層数や各パラメータの次元数を極限まで削り落とした「スライス済みのテスト用データ」です。モデルからの出力結果はすべて無意味な文字列(gibberish)となるため、テキスト生成、音声合成、画像理解などの実用的な目的で利用することはできません。

実モデルの入手先と利用ガイド

LFM3-Omniの機能をローカル環境やllama.cppで実際に利用したいユーザーに向けては、本物のGGUFモデルである ggml-org/LFM3-Omni-2B-GGUF(https://huggingface.co/ggml-org/LFM3-Omni-2B-GGUF)を使用することが明確に案内されています。

llama.cppにおけるマルチモーダル機能の検証強化

本テスト用モデルの導入により、llama.cppにおけるLFM3-Omni関連機能(TTS、ASR、リアルタイム音声・画像入力)および追加された asr テンプレートによるライブ文字起こしパス(/v1/realtime?intent=transcription)の自動テストがCI上で常時実行可能になります。これにより、今後のllama.cppのバージョンアップにおいても、これらのマルチモーダル機能の動作安定性が維持されることが期待できます。

提供形態や今後の公開方針についての言及

本モデルのライセンスとして lfm1.0 が指定されていますが、今後における新たなオープンウェイトモデルの公開計画や、既存モデルの入手性、API提供とローカル実行のバランスといった将来的な提供形態についての言及は本資料内には含まれていません。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q2_K 0.0GB 0.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典