「TTS-V5」中国語音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

「TTS-V5」中国語音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ autotrust/TTS-V5
公開日 2026-11-17
ライセンス mixed-components
配布形式 safetensors / ONNX
出典の種類 未確認(一次情報で裏付けできていない)(個人アカウントの非公式実験モデルで一次情報源が公式でない)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

【未確認】このニュースは公式に確認が取れていません。 以下はHugging Faceのモデルカード(autotrust/TTS-V5)の記載に基づく内容です。

autotrust/TTS-V5は、FunAudioLLM/Fun-CosyVoice3-0.5B-2512をコールセンター向けの中国語でファインチューニングしたとされる、テキスト→音声(text-to-speech)の実験版モデルです。参照音声から声をクローンするzero_shot方式に対応しています。カードによると、LoRAを合成した重みをリポジトリに同梱しており、推論時にLoRAや元モデルを別途ダウンロードする必要はないとされています。

スペック

  • ベースモデル: FunAudioLLM/Fun-CosyVoice3-0.5B-2512(言語モデルはllm.rl.ptから初期化)
  • 出力: 24 kHz モノラルWAV。タグ上の言語はzhです
  • 同梱音声: sales_female、sales_male、service_female、service_male、bank_collection_female、bank_collection_maleの6音色
  • カスタム音声: ref_audioとref_textを指定します。参照音声は3〜12秒が推奨で、最長30秒、16 kHz以上とされています
  • 生成モード:
  • オフライン合成 – 音声ストリーミング(--stream) – テキスト増分入力を伴う双方向ストリーミング(--cpsで模擬。cpsは話速ではありません) – --instructによる口調・話速の指示(厳密な倍率ではありません) – --speedによる話速の後処理(WSOLA、範囲0.5〜2.0、推奨0.8〜1.3)。1.0から離れるほど音質劣化が目立つ可能性があるとされています
  • 全二重ではありません。カードによると、リアルタイムの音声入力、ASR/VAD、割り込み判定、再生中止、生成キャンセルのAPIはありません
  • 学習: LMの後ろ12層と音声出力ヘッドにLoRA(rank 8 / alpha 16、学習可能パラメータ2,260,808、800ステップ、batch 4、ピーク学習率8e-5)。Flowの後ろ8層にもLoRA(rank 8 / alpha 16、1,376,256パラメータ、400ステップ、ピーク学習率3e-5)。ボコーダーとトークン抽出器は変更していません
  • ライセンス: 資料上はmixed-components(タグはlicense:other)と表記されています。条件の詳細は資料に記載がなく、商用利用の可否は未確認です。なお元モデルはapache-2.0です
  • 環境: Transformersは4.51.3への固定が必要とされています。カードによると、4.57.3ではキャッシュ復号で読み間違いや早期停止が起きたとのことです

性能・品質

モデルカードに他モデルとの比較表はありません。公開元が示す数値は次の学習時の検証指標のみで、公開元自身が「聴感評価ではない」と注記しています。

  • LM CE: 4.378 → 4.122(固定48セグメント)
  • Flow loss: 0.945 → 0.896(固定24セグメント)

このほか、カードは次の実測を述べています。

  • 毎秒30字でテキストを増分入力した長い話術(V1)で、最初のパケットまで約2.37秒でした。テキスト入力の終了前に音声が出始めたとされています
  • 増分出力と0.9倍速出力のASR誤字は、どちらも0/180でした

カードは、これがテキストと音声の双方向ストリーミングの動作を示すにすぎず、「聞きながら話す」能力の証明ではないと明記しています。公式の「150 ms」遅延も、任意の条件での保証ではないとされています。

元モデルの性能(参考)

以下は元のFun-CosyVoice3-0.5B-2512のカードにある、公開元の数値です。本モデルの性能ではありません。CER・WERは低いほど良く、Speaker Similarityは高いほど良い指標です。

→ 横にスクロールできます

Model test-zh CER (%) ↓ test-zh Speaker Similarity (%) ↑ test-en WER (%) ↓ test-en Speaker Similarity (%) ↑ test-hard CER (%) ↓ test-hard Speaker Similarity (%) ↑
CosyVoice2 1.45 75.7 2.57 65.9 6.83 72.4
Fun-CosyVoice3-0.5B-2512 1.21 78.0 2.24 71.8 6.71 75.8
Fun-CosyVoice3-0.5B-2512_RL 0.81 77.4 1.68 69.5 5.44 75.0

元モデルは、CosyVoice2に対してCERと話者類似度の両方で上回っています。RL版はCER/WERが最も低い一方、話者類似度は3つのテスト(test-zh、test-en、test-hard)すべてで無印のほうが高くなっています。

得意なこと・想定用途

未確認の情報ですが、モデルカードによると、このモデルは中国語のコールセンター音声を狙った実験版です。同梱の6音色は用途別に分かれています。

  • 営業: sales_female、sales_male
  • カスタマーサービス: service_female、service_male
  • 銀行の督促: bank_collection_female、bank_collection_male

元のFun-CosyVoice3-0.5B-2512は9言語と18以上の中国語方言に対応する汎用のゼロショットTTSです。それに対し本モデルは、コールセンター向けの中国語に絞ってLoRAで調整しています。カードにある例文は、返金の到着案内や金額の確認といった定型の応対文です。

想定されるのは次のような使い方です。

  • LLMが出力するテキストを逐次読み上げる、応対ボットの音声出力。カードのtts.stream()は、LLMの増分出力を直接受け取れます。内部では句読点の位置で正規化し、まだ届いていない数字列を読み間違えないようにしているとされています。
  • 自社の通話素材から作る、カスタム音声のクローン。参照音声に電話素材を使う場合は、聞き取りやすく、相手の発話と重なっていない区間を選ぶよう勧められています。また、リサンプリングしても元の電話回線の帯域は戻らないと注意されています。
  • 話速や口調を変えた応対音声。--instructは口調と話速をモデルに解釈させる方式で、--speedは倍率を正確に指定する後処理です。

制約もカードに明記されています。

  • 電話対話レベルの全二重システムではなく、割り込み対応も未実装です。
  • Pythonのラッパーは直列生成で、モデルを共有する実験的な入口とされています。
  • V4のWebSocketセッションのプロトコルも未実装です。
  • 他言語での挙動は、資料に記載がありません。

また、カードが示す数値は学習時の検証指標と一部の実測だけです。聴感での品質は、同梱の試聴パックで自分で確かめる必要があります。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) そのままの精度(CosyVoice-BlankEN) 0.9GB 1.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors / ONNX です。

ライセンス mixed-components: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(mixed-components)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

autotrust/TTS-V5 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
campplus.onnx 28MB
CosyVoice-BlankEN/model.safetensors 988MB
flow.pt 1.33GB
hift.pt 83MB
llm.pt 2.57GB
speech_tokenizer_v3.onnx 969MB
training/flow_0400.pt 6MB
training/llm_0800.pt 9MB

入手方法

配布形式はsafetensorsとONNXです。カードによると、リポジトリのルートに、合成済みのllm.ptとflow.pt、元のボコーダーとトークン抽出器、テキストモデルの資源、6音色の参照音声、推論コードが揃っています。LoRAや元モデルを別途取得する必要はありません。gatedはfalseで、ライセンス同意なしで取得できます。ただしライセンスはmixed-componentsと表記されており、条件の詳細は資料にありません。商用利用の前に、リポジトリ内のMODEL_CARD.mdなどで確認してください。

取得コマンドはカードの記載どおりです。

pip install "huggingface-hub==0.36.2"
python -c "from huggingface_hub import snapshot_download; snapshot_download('autotrust/TTS-V5', local_dir='TTS-V5')"
cd TTS-V5

続いて、CUDA版のPyTorchとtorchaudioを入れたPython環境で、依存関係の導入とファイル検証を行います。

pip install -r requirements.txt
python verify_files.py

オフライン合成の例です。

python synthesize.py --voice service_female \
  --text "您好,您的退款预计3个工作日内到账,请注意查收。" --output out.wav

--streamを付けると音声ストリーミングになります。--stream --cps 30を併用すると、毎秒30字のテキスト増分入力を模擬できます。Pythonからは次のように呼び出します。

from inference import TTSV5
tts = TTSV5()
pcm = tts.synthesize("您好,请您核对一下金额。", voice="service_female")

ストリーミングで使う場合は、enqueue_audio()を速やかに戻すようにしてください。現在のチャンクの再生終了までブロックすると、後続チャンクの生成スケジュールに影響するとカードは述べています。環境面では、前半のとおりTransformersを4.51.3に固定してください。

リポジトリには、6音色の比較試聴パックTTS-V5-listening.zipもあります。解凍してlistening/index.htmlを開くと、生成例を聴けます。詳しい結果はMODEL_CARD.md、RESULTS.md、evaluation/にあります。

ComfyUIやA1111などの対応ツールについては、資料に記載がありません。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。