「chatterbox-turbo-GGUF」1ステップ生成で低遅延な英語音声合成モデル:必要VRAM 4GB〜

「chatterbox-turbo-GGUF」1ステップ生成で低遅延な英語音声合成モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ ggml-org/chatterbox-turbo-GGUF
公開日 2026-11-06
ライセンス mit
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、Resemble AIが手掛けるオープンソースのテキスト読み上げ(TTS)モデル「Chatterbox-Turbo」をGGUF形式へ変換した量子化モデル「ggml-org/chatterbox-turbo-GGUF」が公開されました。

本モデルは、入力されたテキスト情報を基に高品質な音声を生成するテキスト音声合成(Text-to-Speech)モデルです。llama.cppプロジェクトに含まれる llama-tts コマンドラインツールや、llama serve の /tts エンドポイントを活用することで、ローカルPCやサーバー上で直接動作させることができます。

スペック

元モデル ResembleAI/chatterbox-turbo および今回公開されたGGUF変換モデルの主な仕様は以下の通りです。

  • パラメータ数: 350M(元モデル Chatterbox-Turbo の仕様)
  • 対応言語: 英語専用(English-only variantのため、言語指定用オプション --tts-lang は使用しません)
  • ボイスクローン機能: --tts-speaker-file で参照音声(wav、mp3形式)を指定することで、ゼロショットでの声質クローン生成に対応します(未指定時はモデル内蔵の標準音声を使用します)
  • パラ言語タグ対応: [laugh]、[cough]、[chuckle] などのタグをテキスト内に記述することで、笑い声や咳払いなどの自然なニュアンスを生成可能です
  • デコーダー技術: 音声トークンからメルスペクトログラムへのデコーダー部分が蒸留されており、音声生成に必要なステップ数が従来の10ステップから1ステップへと短縮されています
  • 電子透かし: 生成される全ての音声にはResemble AIの「PerTh(Perceptual Threshold)」ニューラルウォーターマークが組み込まれており、編集やMP3圧縮後も検出可能な耐性を備えています
  • ライセンス: MITライセンス

性能・品質

本GGUF版のベースモデルである「Chatterbox」ファミリーの比較およびモデル構成は、公式モデルカードにおいて以下の表の通り示されています。

→ 横にスクロールできます

Model Size Languages Key Features Best For 🤗 Examples
Chatterbox-Turbo 350M English Paralinguistic Tags ([laugh]), Lower Compute and VRAM Zero-shot voice agents, Production Demo Listen
Chatterbox-Multilingual (Language list) 500M 23+ Zero-shot cloning, Multiple Languages Global applications, Localization Demo Listen
Chatterbox (Tips and Tricks) 500M English CFG & Exaggeration tuning General zero-shot TTS with creative controls Demo Listen

元モデルの性能比較において、Chatterbox-Turboはパラメータ数が350Mと、500Mパラメータを持つ既存のChatterboxやChatterbox-Multilingualよりも軽量であり、計算量とVRAM消費量を抑えた省リソース運用が可能な点で優れています。また、デコーダーの蒸留により1ステップでの高速生成を実現しているため、リアルタイム性が求められるボイスエージェント用途において優れた低遅延特性を発揮します。一方で、対応言語が英語のみに絞られているため、23以上の多言語に対応するChatterbox-Multilingualのように多様な言語環境での音声合成を行いたい用途には及ばないというトレードオフが存在します。

得意なこと・想定用途

元モデル「Chatterbox-Turbo」の設計および機能に基づく得意な処理や想定される主な用途について解説します。本モデルは以下のような場面やアプリケーションで強みを発揮します。

  • 低遅延ボイスエージェント・対話システム:
    デコーダーの蒸留によって生成ステップ数が1ステップに短縮されており、処理の遅延が非常に少なく抑えられています。そのため、レスポンスの速さが重視される対話型AIエージェントや、リアルタイム性の要求される本番環境(Production)での運用に適しています。

  • 豊かな感情・リアリズムを伴う会話音声の合成:
    テキスト中に [cough](咳)、[laugh](笑い)、[chuckle](含み笑い)といったパラ言語タグ(Paralinguistic Tags)を記述することで、従来の機械的な音声合成とは異なる表現力豊かな音声を作り出せます。会話の自然なニュアンスが必要なコンテンツ制作やナレーション用途に有効です。

  • ゼロショットによる声質クローン:
    参照となる短尺の音声ファイル(wavまたはmp3形式)を指定するだけで、追加のファインチューニングを行わずにその話者の声質を再現した読み上げが行えます。特定のキャラクターや人物の声での読み上げを即座に実現できます。

  • 英語による音声コンテンツの制作:
    英語専用モデル(English-only variant)として調整されているため、英語テキストの読み上げにおいて高い品質の音声を生成可能です。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) BF16 0.8GB 1.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

配布ファイル

ggml-org/chatterbox-turbo-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
chatterbox-turbo-BF16.gguf 874MB
chatterbox-turbo-Q8_0.gguf 482MB
mmproj-chatterbox-turbo-F16.gguf 555MB

入手方法

「ggml-org/chatterbox-turbo-GGUF」は、Hugging Faceのモデルリポジトリから入手できます。本モデルは利用同意を求めるゲート付きモデル(gated)ではないため、利用規約への同意手続きを行う必要なく、直接ダウンロードして利用できます。

GGUFフォーマットとして提供されており、llama.cppプロジェクトに統合されているツールを用いてローカル環境やサーバー上で動作させることができます。主な利用方法およびコマンドの指定手順は以下の通りです。

  • ターミナルからの直接実行(llama-tts):
    コマンドラインツール llama-tts を用いて、テキストから音声ファイル(WAV形式)を生成します。 bash llama-tts -hf ggml-org/chatterbox-turbo-GGUF -p "Hello world" --output out.wav

  • サーバーモードでの実行(llama serve):
    llama serve を起動して、/tts エンドポイントを介した音声合成機能を提供できます。 bash llama serve -hf ggml-org/chatterbox-turbo-GGUF

  • ボイスクローンの指定:
    参照音声ファイル(wav、mp3)を使った声質の再現を行いたい場合は、オプションとして --tts-speaker-file を付与して音声ファイルのパスを指定します。指定しない場合はモデルに組み込まれているデフォルトの音声が用いられます。なお、本モデルは英語専用であるため、言語指定オプションである --tts-lang は使用しません。

詳細な利用手順やツール側の実装仕様については、llama.cpp Chatterboxドキュメント も確認できます。

関連記事

次に読むなら

出典