「TTS-V4」中国語音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

「TTS-V4」中国語音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ autotrust/TTS-V4
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-11-16
ライセンス other
配布形式 safetensors
出典の種類 未確認(一次情報で裏付けできていない)(非公式の個人アカウントによる派生モデルで一次情報なし)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

コールセンター向け中国語音声合成モデル「autotrust/TTS-V4」がHugging Face上で公開されたと報告されています。なお、本モデルに関する情報は公式に確認が取れていない未確認情報を含んでおり、コミュニティによる公開リポジトリに基づく報告とされています。

TTS-V4は、ベースモデルである「Qwen/Qwen3-TTS-12Hz-1.7B-Base」に対して実際の電話録音データを用いて適応学習を施した、テキストから音声を生成する音声合成(Text-to-Speech)モデルです。カスタマーサポート、セールス、催促業務などの定型スクリプトを逐字朗読することを目的としており、LoRA等の追加読み込みが不要なBF16形式の完全マージ済みモデルとして提供されています。さらに、大規模言語モデル(LLM)のテキスト出力をリアルタイムに受け取りながら音声を逐次生成する双方向ストリーミング機能に対応しているとされています。

スペック

公開資料に記載されているモデルの主な仕様は以下の通りです。

  • ベースモデル: Qwen/Qwen3-TTS-12Hz-1.7B-Base
  • アーキテクチャ: Qwen3TTSForConditionalGeneration(非DiT型の離散マルチコードブックLMアーキテクチャ)
  • 形式: BF16(safetensors形式、マージ済みモデル)
  • 対応言語: 中国語(zh)
  • 音声出力: サンプリングレート 24 kHz(PCM float32、WebSocket経由では8000 Hz / PCM 16-bit等に対応)、80 msフレーム単位での逐次出力に対応
  • プリセット音色: 6種類の固定音色(sales_female、sales_male、service_female、service_male、bank_collection_male、bank_collection_female)を収録し、任意の参照音声と書き起こしテキストによるカスタム指定にも対応
  • 推論モード:
  • 音声模倣モード: icl(In-Context Learning、参照音声+転写を使用し肉声に近い抑揚を再現)、xvec(話者ベクトルのみを使用し即座に生成開始) – テキスト供給方式: sentence(文末記号または最大60文字で区切る文単位)、token(入力tokenごとに逐次生成)
  • 話速調整: WSOLAアルゴリズムによるピッチを維持した時間伸縮機能(speed倍率:0.5〜2.0、推奨0.8〜1.3)を搭載
  • ライセンス条件: 配布ライセンスは other と指定されており、ベースモデルの条件や付属の規約ファイル(LICENSE.md、LICENSE-QWEN.txt、NOTICE)の確認が必要です。Qwen公式モデルではない旨が明記されています。

性能・品質

公開リポジトリのモデルカードでは、学習や選型に使用していない独立したテストセット(通話15件、計49文)を用いたベンチマーク結果が公表されています。評価指標として、書き起こしの文字単位の誤り率(低いほど良い)を示すCER、合成音声と肉声の識別分類器によるAUC(0.5に近いほど肉声に近い)、および話者類似度が報告されています。

→ 横にスクロールできます

模型 CER Whisper特征AUC 韵律AUC 说话人相似度
Qwen底座(默认采样) 0.74% 0.945 0.776 0.786
V3 0.89% 0.906 0.754 0.802
V4 离线(T=0.8) 2.17% 0.867 0.723 0.772
V4 流式 icl(T=0.8) 1.48% 0.883 0.770 0.776
V4 流式 xvec(T=0.8) 0.79% 0.948 0.769 0.758

公表値によると、TTS-V4(オフライン、温度0.8)はWhisper特徴AUC(0.867)および韻律AUC(0.723)においてベースモデルや前世代のV3よりも0.5に近づいており、肉声の電話音声により近い自然な音色と抑揚を獲得しているとされています。その一方で、書き起こしの文字単位の誤り率を測るCERはベースモデルの0.74%からオフライン版で2.17%へと悪化しており、一部の文字の発音が曖昧になったり、語気詞の混入や特定単語の読み間違いが生じるトレードオフが報告されています。なお、ストリーミングの xvec モードではCERが0.79%に抑えられるとされています。

また、約230文字の長文業務スクリプト(1秒あたり30文字の逐字入力、温度0.8)を用いた実測値として、以下のレイテンシとASR誤り数が示されています。

→ 横にスクロールできます

组合 service_female 首包 bank_collection_female 首包 播放卡顿合计 ASR错字(共180字)
icl + sentence 593 ms 501 ms 0.12–0.13 s 0 / 2
icl + token 3724 ms 2275 ms 0.12 s 0 / 1
xvec + token 210 ms 217 ms 0.38 s 1 / 1
xvec + sentence 487 ms 493 ms 0.12 s 0 / 0

実測結果では、xvec + token の組み合わせが約210〜217 msという極めて速いファーストパケット遅延を実現する一方で、再生中の累計カクつき(途切れ)は0.38秒とやや増加します。推奨設定とされる icl + sentence ではファーストパケットまで約500〜593 msを要するものの、再生中のカクつきは0.12〜0.13秒程度にとどまり、音色の再現性と安定した再生を両立できると説明されています。

得意なこと・想定用途

本モデルは、カスタマーサポート、電話営業、催促業務といったコールセンターにおける定型話術の逐字朗読に特化しているとされています。入力テキストに対する無駄な口語的改写(リライト)を行わず、原文に忠実なまま、実際の電話録音に近い音色と韻律で読み上げることが得意分野として挙げられています。

プリセットとして、営業向け男女(sales_female、sales_male)、カスタマーサービス向け男女(service_female、service_male)、債権回収向け男女(bank_collection_male、bank_collection_female)の計6種類の固定音色が用意されていると報告されています。また、任意の参照音声と書き起こしテキストを用意することで、独自のカスタム音色を指定して生成することも可能とされています。

LLM(大規模言語モデル)のストリーミング出力と連携したリアルタイム音声対話システムでの利用が強く想定されており、目的に応じて以下のような設定の使い分けが提案されています。

  • icl + sentence(推奨モード): テキストを文単位でまとめながら生成する方式です。参照音声のニュアンスを深く模倣する icl モードと組み合わせることで、最も人間らしく自然な音色や抑揚を再現できます。LLMの応答開始から最初の音声出力までの遅延は約0.5秒程度であり、会話の自然さとレイテンシのバランスに優れていると説明されています。
  • xvec + token(極小遅延モード): テキストが1文字(token)入力されるごとに即座に生成を開始する方式です。話者ベクトルのみを用いる xvec モードと組み合わせることで、最初の文字を受信してから約0.2秒という極めて低いファーストパケット遅延で音声出力を開始できます。音色の自然さや発音の正確性は icl よりやや下がるものの、即答性が最優先される対話システムに適しているとされています。
  • 時間伸縮(speed パラメータ): 生成された音声に対してWSOLA処理を適用し、ピッチ(音高)を変えずに語速を0.5倍から2.0倍(推奨0.8〜1.3倍)の範囲で調整できます。ストリーミング処理時にもCPU負荷が非常に軽微であり、ファーストパケット遅延を増加させずにスピードを変更できるとされています。
  • テキストの自動正規化: 数値、金額、日付、英文などを適切な中国語の読み方に自動変換する機能(例:「235.60元」を「両百三十五点六零元」と変換)を備えていると報告されています。

音声合成の途中でユーザーが発話を割り込んだ場合には、cancel() メソッドやWebSocket経由のキャンセル命令によって生成処理を即座に打断(中断)できるため、インタラクティブな音声AIエージェントの構築に適しているとされています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 1.9B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB BF16 3.6GB 4.3GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス other: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(other)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/Soprano-1.1-80M-GGUF 80M 4GB apache-2.0 「Soprano-1.1-80M-GGUF」軽量英語音声合成モデル:配布ファイル一覧(2026-11-17)
phasefield-audio/Irodori-TTS-v4.1-Anime 766M 4GB mit 「Irodori-TTS-v4.1-Anime」アニメ風音声対応の音声合成モデル:当サイトの生成音声・配布ファイル一覧(2026-09-07)

配布ファイル

autotrust/TTS-V4 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
adapters/v4/adapter.safetensors 42MB
model.safetensors 3.86GB
speech_tokenizer/model.safetensors 682MB

入手方法

本モデルはHugging Faceのリポジトリ autotrust/TTS-V4 から配布されており、safetensors形式の完全マージ済みモデル(BF16)としてダウンロード可能とされています。事前に入手同意が必要な gated 設定は行われておらず、そのまま取得可能と報告されています。ただし、ライセンス種別は other と定義されているため、リポジトリに含まれる LICENSE.md やベースモデルの利用規約を事前に確認することが推奨されます。

利用にあたっては、CUDAに対応したPyTorch環境で必要な依存ライブラリをインストールします。

pip install -r requirements.txt
python verify_files.py

オフライン環境で全文をまとめて一次合成する場合は、付属の synthesize.py スクリプトを使用して以下のように実行できます。

python synthesize.py --voice service_female --text "您好,您本期账单金额是235.60元。" --output out.wav

LLMのストリーミング出力を模倣して逐次音声を生成する場合は、推論モード(--stream)や語速倍率(--speed)を指定して実行可能です。

python synthesize.py --voice service_female --stream icl --cps 30 \
  --text "您好,很抱歉让您久等了。您的退款预计3个工作日内到账。" --output icl.wav

また、Pythonプログラム内から呼び出す場合は TTSV4 クラスをインポートして tts.stream() や tts.stream_sentences() を利用します。さらに、バックエンドサーバーとして運用するためのWebSocketサーバー用スクリプト(stream_server.py)も同梱されており、デフォルトでポート 8765 にてストリーミング音声合成APIを構築・利用できるとされています。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。