「chatterbox-GGUF」23言語対応の多言語音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

「chatterbox-GGUF」23言語対応の多言語音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ ggml-org/chatterbox-GGUF
公開日 2026-11-06
ライセンス mit
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、Resemble AIが開発したオープンウェイトの多言語テキスト読み上げ(TTS)モデル「Chatterbox Multilingual V3」のGGUF量子化版となる「ggml-org/chatterbox-GGUF」が公開されました。本モデルはテキストを入力とし、23言語に対応した音声を出力するテキスト音声合成(text-to-speech)モデルです。ggml-orgの自動変換ツールによってGGUFフォーマットへ変換されており、llama.cpp環境などで効率的に音声生成を実行できます。

スペック

元モデル「ResembleAI/chatterbox」および本GGUF配布モデルの資料に記載されている仕様と推奨設定は以下の通りです。

  • パラメータ数: 0.5B (500M)
  • バックボーンアーキテクチャ: Llamaバックボーン
  • 処理機能: テキスト音声合成 (text-to-speech)、ボイスクローニング (voice-cloning)
  • 対応言語数: 23言語 (アラビア語、デンマーク語、ドイツ語、ギリシャ語、英語、スペイン語、フィンランド語、フランス語、ヘブライ語、ヒンディ語、イタリア語、日本語、韓国語、マレー語、オランダ語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スウェーデン語、スワヒリ語、トルコ語、中国語)
  • 学習データ量: 50万時間 (0.5M hours) のクリーンデータ
  • 追加機能: PerTh (Perceptual Threshold) 埋め込みウォーターマーク出力、感情過剰表現・強度コントロール (emotion exaggeration control)
  • 推奨のステップ数やパラメータ(元モデル参照):
  • 一般用途 (TTSおよび音声エージェント): デフォルト設定の exaggeration=0.5、cfg=0.5 が適しています。参照話者が早口の場合は cfg を 0.3 近辺まで下げるとペースが改善します。 – 表現力豊かな発話: 低めの cfg (例: ~0.3) に設定し、exaggeration を 0.7 以上に引き上げます。 – アクセント継承の制御: 参照音声と指定言語が異なる場合に参照元のアクセントが引き継がれるのを緩和するには、cfg 重みを 0 に設定します。
  • ライセンスの条件: 条件の緩いオープンソースライセンスであるMITライセンスで公開されています。

性能・品質

元モデルである「ResembleAI/chatterbox」のモデルカードで公表されているモデル構成の比較表(Model Zoo)は以下の通りです。

→ 横にスクロールできます

Model Size Languages Key Features Best For Demo
Chatterbox Multilingual V3 500M 23+ Improved speaker similarity, reduced hallucinations, more natural multilingual speech Global applications, localization, cross-language voice cloning Demo
Single Language Pack 500M each 6 dedicated finetunes Language- and region-specific quality control Priority languages and dialect-sensitive applications Demos
Chatterbox 500M English CFG and exaggeration tuning General zero-shot TTS with creative controls Demo

Chatterbox Multilingual V3は、23以上の幅広い言語に対応し、話者類似度の向上やハルシネーションの低減、自然な多言語スピーチの生成において優れています。一方で、特定の言語や地域の方言に特化した厳密な品質制御を求める用途においては、専用ファインチューニング版であるSingle Language Packの方が適しています。また、英語版単体のChatterboxはCFGや過剰表現の調整による創作的なコントロール機能に強みを持っています。

元モデルのモデルカードによると、Chatterbox Multilingual V3は従来のV2と比較して話者同一性の保持や言語を跨いだアクセントの保存性が高まっており、クロス言語でのボイスクローニングが安定しています。また、不必要な継続発話や反復といったハルシネーションが削減されていると説明されています。ElevenLabsなどの商用システムとの比較評価においても高い評価を得ていると主張されています。

得意なこと・想定用途

元モデル「ResembleAI/chatterbox」の仕様を踏まえると、本モデルは多言語での音声合成や柔軟なボイスクローニングを必要とする用途を得意としています。対応言語は日本語、英語、中国語、韓国語、フランス語、ドイツ語、スペイン語、ロシア語、アラビア語などを含む23言語に及び、単一のモデルで幅広い言語の読み上げに対応できます。

モデルカードでは、具体的な用途として動画コンテンツやゲームの音声、ミーム制作、対話型の音声エージェントなどが挙げられています。参照となる音声ファイルを与えることで、元の話者の同一性やアクセントを保ったまま別の言語を話させるクロス言語ボイスクローニングが可能です。同一キャラクターの声を維持した多言語ローカライズやグローバル向けアプリケーション開発に適しています。

また、感情の過剰表現や強度を調整するコントロール機能を備えているため、標準的な落ち着いた読み上げだけでなく、劇的で感情豊かなスピーチの作成にも向いています。生成される音声には、音声編集やMP3圧縮を経ても検知できるPerThニューラルウォーターマークが自動的に埋め込まれる設計となっています。

なお、広範な言語に対応する本モデル(Chatterbox Multilingual V3)に対して、中国語や特定地域のスペイン語・ポルトガル語、ヒンディー語などにおいて、より厳密な言語固有の挙動や方言への適応が必要な場合には、専用のファインチューニング版であるSingle Language Packを利用するといった使い分けが推奨されています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) BF16 1.0GB 1.2GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

配布ファイル

ggml-org/chatterbox-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
chatterbox-BF16.gguf 1.05GB
chatterbox-Q8_0.gguf 559MB
mmproj-chatterbox-F16.gguf 595MB

入手方法

本モデルはHugging Faceの ggml-org/chatterbox-GGUF リポジトリにて、GGUFフォーマットで配布されています。利用にあたって事前の同意リクエストやアクセス申請は不要です。

推論を行うには、必要な更新を取り込んだ llama.cpp のビルド環境が必要です。準備が整っていれば、ターミナルから llama-tts コマンドを実行して音声を出力できます。

llama-tts -hf ggml-org/chatterbox-GGUF -p "Hello world" --tts-lang en --output out.wav

発話させる言語は --tts-lang オプションで選択します。ボイスクローニングを行いたい場合は、--tts-speaker-file オプションに参照する音声ファイル(wavまたはmp3形式)を指定します。この参照ファイルを指定しない場合は、モデルに標準で付属している音声が使用されます。

さらに、llama serve コマンドを使用してローカルサーバーを起動し、/tts エンドポイント経由で音声合成機能を利用することも可能です。

llama serve -hf ggml-org/chatterbox-GGUF

関連記事

次に読むなら

出典