「hibiki-1b-GGUF」音声対音声のリアルタイム音声翻訳モデル:必要VRAM 4GB〜・配布ファイル一覧

「hibiki-1b-GGUF」音声対音声のリアルタイム音声翻訳モデル:必要VRAM 4GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ ggml-org/hibiki-1b-GGUF
公開日 2026-11-22
ライセンス cc-by-4.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、リアルタイム音声翻訳モデル「kyutai/hibiki-1b-pytorch-bf16」のGGUF量子化版となる「ggml-org/hibiki-1b-GGUF」が公開されました。

本モデルは、フランス語の音声入力を受け取り、リアルタイムで英語の音声およびテキスト翻訳を出力する音声対音声(audio-to-audio)ストリーミングモデルです。従来の翻訳のように発話全体の終了を待つ必要がなく、入力される音声ストリームから必要な文脈を順次蓄積しながら、即座にターゲット言語の音声とテキストを並行して生成します。

「ggml-org/hibiki-1b-GGUF」は、Kyutaiが開発したオープンウェイトモデル「kyutai/hibiki-1b-pytorch-bf16」をベースに、ggml-orgの自動変換ツールを用いて変換されたリポジトリです。llama.cpp の llama-server におけるリアルタイムエンドポイント(全二重通信)を利用することで、手元の環境で高速かつ省メモリなストリーミング音声翻訳を実行できます。

スペック

基盤となる元モデル「kyutai/hibiki-1b-pytorch-bf16」および今回のGGUF変換版に関して、公開資料に示されているスペックは以下の通りです。

  • パラメータ数:1.7B(研究論文中では「Hibiki-M」と称される1.7Bパラメータ構成です)
  • アーキテクチャ:階層型Transformer(hierarchical Transformer)。Moshiのマルチストリーム構造を採用したデコーダー専有(decoder-only)モデル
  • 入出力仕様:入力はフランス語音声、出力は英語音声およびタイムスタンプ付き英語テキスト翻訳
  • トークン生成速度:12.5Hz(テキストおよび音声トークンを一定速度で連続出力します)
  • 音声生成ビットレート:1.1kbps
  • 対応言語:フランス語から英語への翻訳(French-to-English)
  • 音声コーデック:Mimi codec(12Hzのフレームレートと1.1kbpsのビットレートでセマンティック情報とアコースティック情報を統合するニューラル音声コーデック)
  • サンプリング・制御:シンプルな温度サンプリング(temperature sampling)に対応。Classifier-Free Guidance(CFG)の係数を調整することで、声質転送(voice transfer)の類似度を変更可能
  • 動作形式:全二重(full-duplex)。llama-server のリアルタイムエンドポイントで80msごとに音声の入出力を連続処理
  • ライセンスの条件:CC-BY-4.0(原作者の適切なクレジット表示を行うことで、商用利用を含めた二次利用が可能です)

性能・品質

元モデル「kyutai/hibiki-1b-pytorch-bf16」の開発元であるKyutaiによるモデルカードの記述によると、本モデルはストリーミング同時通訳において優れたリアルタイム処理能力と柔軟な音声生成制御を備えています。

具体的なベンチマークスコアの数値表自体はモデルカード内に掲載されていませんが、モデルの品質と動作特性に関して以下の点が報告されています。

同時通訳性能において、発話全体の完了を待たずに翻訳に必要な最小限の文脈を自律的に判断して蓄積し、chunk単位で滑らかに英語音声を生成します。この音声生成と同時に、タイムスタンプが付与されたテキスト翻訳結果も並行して出力されます。

また、入力話者の声質を生成音声に反映させる「声質転送」機能を備えており、Classifier-Free Guidance(CFG)の係数でその再現性をコントロールできます。CFG係数を大きく設定するほど入力話者の声質との類似性が向上するメリットがあります。一方で、係数を過度に高く設定しすぎると翻訳精度や品質が低下するというトレードオフの関係が存在することが説明されています。

入力音声のノイズに対する堅牢性も備えており、最大120秒までの長尺シーケンスで訓練されているため、長時間の会話でも安定したストリーミング翻訳が可能です。さらに、複雑な推論ポリシーを必要としない温度サンプリングを利用しているため、複数シーケンスのバッチ処理にも対応しやすい利点があります。

得意なこと・想定用途

「ggml-org/hibiki-1b-GGUF」およびその元モデルである「kyutai/hibiki-1b-pytorch-bf16」が真価を発揮する用途や、想定される活用シーンについて解説します。

リアルタイム同時通訳・ストリーミング音声翻訳

本モデルの最も大きな特長は、フランス語の音声入力をリアルタイムで処理し、遅延を最小限に抑えて英語の音声とテキストへ同時通訳できる点です。従来のように話し手が文章を最後まで発話し終わるのを待つ必要がなく、入力音声ストリームから文脈を逐次蓄積しながら、即座にターゲット言語の音声を連続して出力します。このため、リアルタイムの対話システム、オンライン会議の字幕・音声通訳、ライブ配信での同時通訳といった、低遅延な処理が求められるアプリケーションに最適です。

話者の声質を反映した音声変換(声質転送)

翻訳されて生成される英語音声には、入力されたフランス語話者の声質を反映させる「声質転送(voice transfer)」機能が統合されています。Classifier-Free Guidance(CFG)の係数を調整することにより、元の話者の声質にどれだけ近づけるかをコントロールできます。オリジナルの話者のアイデンティティや雰囲気を維持したまま異言語へ変換したいコンテンツ制作や音声対話システムなどに適しています。

ノイズ環境や長尺音声への対応

本モデルは最大120秒の音声シーケンスや、多様な音声データセットを用いて学習が行われており、ノイズが含まれる実環境の入力音声に対しても高い堅牢性を備えています。短文のやり取りだけでなく、長時間にわたる会話や日常のノイズが存在する環境での音声通訳においても安定して動作します。

バッチ処理による並行通訳

推論時に複雑なアルゴリズムやポリシーを必要とせず、シンプルな温度サンプリング(temperature sampling)で動作するため、複数の音声入力ストリームを同時に処理するバッチ処理にも適しています。サーバーサイドで複数の通訳セッションを並行して動かすようなインフラ構成への組込みが容易です。

コーデックや他言語モデルへの応用

本モデルに組み込まれている「Mimi」コーデックは、12Hzのフレームレートかつ1.1kbpsの低ビットレートで音響情報と意味情報を統合する高性能なニューラル音声コーデックです。このコンポーネント単体を抽出して、独自の音声言語モデルやテキスト読み上げ(TTS)システムの開発に利用できます。また、Hibiki自体のアーキテクチャを活用し、他言語ペアの同時通訳モデルへとファインチューニングするためのベースモデルとしても適しています。

なお、他者へのなりすましや悪意のある偽装を目的とした利用は、モデルカードにおいて対象外(Out-of-Scope)として明示的に禁じられている点にご注意ください。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) BF16 1.9GB 2.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス cc-by-4.0(商用利用可): 商用利用が可能ですが、クレジット表示が義務です(表示を欠くと違反になります)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

配布ファイル

ggml-org/hibiki-1b-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
hibiki-1b-BF16.gguf 2.04GB
hibiki-1b-Q8_0.gguf 1.08GB
mmproj-hibiki-1b-BF16.gguf 1.76GB

入手方法

「ggml-org/hibiki-1b-GGUF」は、Hugging Faceのリポジトリから直接ダウンロードして入手できます。入手にあたって利用規約への事前同意や申請(Gatedアクセス)は不要です。

本モデルはGGUFフォーマットで提供されており、llama.cpp に含まれる llama-server を使用して起動します。

実行コマンド

llama.cpp の環境が整っている場合、以下のコマンドを実行することでモデルが取得され、サーバーが起動します。

llama-server -hf ggml-org/hibiki-1b-GGUF -c 1500

実行時の注意点

本モデルは全二重通信(full-duplex)専用モデルです。そのため、通常のテキスト読み上げ用エンドポイントである llama-tts や /tts 経由では動作しません。必ず llama-server のリアルタイムエンドポイント(80msごとに音声を入出力する全二重通信機能)を利用して実行してください。

関連記事

次に読むなら

出典