「TTS-V3」電話対話特化の音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

「TTS-V3」電話対話特化の音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ autotrust/TTS-V3
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-11-16
ライセンス component-specific-terms
配布形式 safetensors
出典の種類 未確認(一次情報で裏付けできていない)(非公式の個人ユーザーによる派生LoRAモデルで、一次情報ではないため)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Hugging Faceにおいて、音声クロニングおよび会話型音声合成(Text-to-Speech)向けモデル「autotrust/TTS-V3」が公開されたと報告されています。ただし、本モデルに関する公式な確定情報および裏付けはまだ取れておらず、未確認の情報である点にご注意ください。

本モデルは、入力されたテキストや参考音声データから24 kHzの単声道WAV音声を出力するモデルとされています。アリババが開発したオープンウェイトモデル「Qwen/Qwen3-TTS-12Hz-1.7B-Base」をベースモデルとしており、実際の電話会話データを用いて400ステップのLoRA適応を施すことで開発されたと報告されています。

販売(セールス)、カスタマーサービス、銀行の催収(支払手配・確認)という3つのユースケースにおける男女計6種類の参考音声をサポートしており、中国語の対話シーンにおける安定した音声合成や音声クロニングの提供を目的としています。

スペック

公開されているモデルカードおよび関連資料によると、autotrust/TTS-V3の主なスペックと条件は以下の通りです。

  • ベースモデル:Qwen/Qwen3-TTS-12Hz-1.7B-Base
  • モデル構造・アーキテクチャ:Qwen3TTSForConditionalGeneration(ベースモデル)
  • 学習パラメータ数(追加分):1,245,184個のFP32パラメータ(LoRA訓練増量分)
  • 出力音声仕様:24 kHz 単声道(WAVフォーマット)
  • 対象言語およびドメイン:中国語(zh)、電話会話(セールス、カスタマーサポート、銀行催収)
  • デフォルト指定可能パラメータ:
  • 音声コード生成トークン数上限(--max-new-tokens):512 – シード値(--seed):5000 – 使用デバイス(--device):cuda:0
  • 使用条件・ライセンス:license:other(コンポーネント固有の利用規約に準拠。モデルリポジトリのLICENSE.mdおよびLICENSE-QWEN.txtに記載の各ライセンス条件に従う必要があります)

本リポジトリでは、約5 MBの訓練済みLoRAアダプターと読み込み用コードが提供されています。実際に推論を行うには、約4.5 GBのQwen底座モデルおよび音声Tokenizerのダウンロードが必要です。

性能・品質

モデルカードにおいて公表されている対照評価実験の結果は以下の通りです。評価セットとして、6種類の参考音声×12条の独立した中国語話術(短文応答、疑問文、金額、日付、長文など)を用いた合計72回の初回生成(4グループ計288条)のデータが使用されています。

TTS-V3の対照評価結果

→ 横にスクロールできます

模型 Qwen ASR CER↓ Whisper CER↓ 声纹余弦中位数↑(同电话带宽) 观察到EOS
Pocket V1 2.73% 4.95% 0.546 65/72
Pocket保守微调版 3.15% 4.70% 0.553 66/72
Qwen 1.7B原底座 4.59% 12.23% 0.703 72/72
TTS-V3 2.12% 3.30% 0.707 72/72

※CER(Character Error Rate)は音声認識における書き起こしの文字単位の誤り率を示す指標であり、数値が低いほど優秀であることを意味します。

公表されたベンチマーク結果において、TTS-V3はQwen ASR CERで2.12%、Whisper CERで3.30%を記録しており、元となったQwen 1.7B原底座(4.59%および12.23%)や比較対象のPocket各バージョンと比較して文字誤り率が大幅に低減していると報告されています。また、同一電話帯域における声紋コサイン類似度の中位数も0.707を示し、原底座の0.703を上回る安定性を発揮しています。

一方で、モデルカードの解説では、CERの低減や声紋類似度の向上は主にコンテンツ表現の安定化によるものであり、自然度を示すMOS(Mean Opinion Score)評価や「真人のような自然さ」を直ちに保証するものではないと明記されています。実データとの比較において、音高の幅やエネルギー動態の一部は実録音に近づいたものの、微細な停止や語速、句末のイントネーションについては一貫した改善が見られないといった課題も挙げられています。

なお、ベースモデルである「Qwen/Qwen3-TTS-12Hz-1.7B-Base」自体の性能評価として、公表されたSEED-TTSテストセットにおけるコンテンツ一貫性(Word Error Rate: WER↓)のスコアは、中国語(test-zh)で0.77、英語(test-en)で1.24を記録しており、主要な音声合成モデルと比較しても高いコンテンツ一貫性を備えていることが示されています。

得意なこと・想定用途

autotrust/TTS-V3は、中国語における電話対話シナリオやカスタマーソリューションに特化した会話型音声合成および音声クロニングを得意としています。実際の電話対話音声データを用いて学習が行われているため、コールセンターや業務自動化における実用的な会話のニュアンスに対応できるとされています。

具体的にモデルカードで挙げられている用途およびプリセットされている参考音声プロファイルは、以下の通りです。

  • 販売・セールス(Sales):男性音声(sales_male)および女性音声(sales_female)
  • カスタマーサポート・各種問い合わせ対応(Customer Service):男性音声(service_male)および女性音声(service_female)
  • 銀行・金融関連の催収や支払い確認(Bank Collection):男性音声(bank_collection_male)および女性音声(bank_collection_female)

本リポジトリにはこれら6種類の24 kHz真人参考音声データが同梱されており、推論スクリプトの実行時にプロファイル名(--voice)を指定することで、対応する話者の声色や雰囲気を持った音声を生成できます。

また、ユーザーが独自に用意した短時間の参考音声(--ref-audio)とその正確な転写テキスト(--ref-text)を入力として与えることで、任意の人物の声を再現する音声クロニング機能もサポートされています。このクロニング処理では、参考音声に含まれる声質、話すテンポ、表現スタイルを活かした音声生成が行われます。ただし、ピッチ(F0)曲線をフレーム単位で完全に複製するものではないと説明されています。また、自然言語による感情指示テキストで制御するスタイル(CustomVoiceやVoiceDesignなど)ではなく、参考音声を条件として与えるベースモデル(Base)依存のクロニング方式となっている点に留意する必要があります。

実用面での配慮として、入力テキストに含まれる金額表記、日付、口座番号や電話番号といった算術数字を、実際に朗読する読み上げ形式へと自動的に変換する規範化モジュール(text_normalization.py)が組み込まれています。これにより、業務データベースや対話システムから出力された生のテキストを入力した場合でも、自然な朗読表現へ調整して処理することが可能です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 1.9B(元モデル Qwen/Qwen3-TTS-12Hz-1.7B-Base の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB BF16 3.6GB 4.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 この配布は LoRA 等のアダプタで、表は元モデル Qwen/Qwen3-TTS-12Hz-1.7B-Base を動かす要件です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス component-specific-terms: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(component-specific-terms)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/Soprano-1.1-80M-GGUF 80M 4GB apache-2.0 「Soprano-1.1-80M-GGUF」軽量英語音声合成モデル:配布ファイル一覧(2026-11-17)
phasefield-audio/Irodori-TTS-v4.1-Anime 766M 4GB mit 「Irodori-TTS-v4.1-Anime」アニメ風音声対応の音声合成モデル:当サイトの生成音声・配布ファイル一覧(2026-09-07)

配布ファイル

autotrust/TTS-V3 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
model/adapter.safetensors 5MB

入手方法

autotrust/TTS-V3の重みデータおよび推論スクリプト一式は、Hugging Faceのリポジトリから取得することができます。モデルの利用にあたり事前のアカウント同意手続き(Gatedモデル指定)は設定されていないため、誰でもアクセスして入手することが可能です。

必要なライブラリのセットアップおよびリポジトリの取得は、以下のコマンドを実行して行います。

python -m pip install 'huggingface_hub>=0.34,<1'
hf download autotrust/TTS-V3 --local-dir TTS-V3
python -m pip install -r TTS-V3/requirements.txt

動作環境としては、Linux OS、Python 3.11、NVIDIA CUDAの環境が推奨されています。開発元の実測テストではPyTorch 2.13.0、BF16精度、SDPA(Scaled Dot-Product Attention)が使用されています。CPU環境やその他のプラットフォームでの動作については、系統的な検証が行われていないと報告されています。

音声の合成処理を行う場合は、同梱されている synthesize.py スクリプトを使用します。プリセットされた対話音声プロファイルを利用して合成する際のコマンド例は以下の通りです。

python TTS-V3/synthesize.py \
  --voice bank_collection_female \
  --text '您好,想跟您核实一下这期账单的还款安排。' \
  --output bank_v3.wav

自分で用意した参考音声ファイルを用いて任意の声をクロニングする場合は、次のように --ref-audio および --ref-text オプションを指定して実行します。

python TTS-V3/synthesize.py \
  --ref-audio reference.wav --ref-text '参考録音の実際の転写テキスト。' \
  --text '合成したい新しいテキスト。' \
  --output clone.wav

なお、スクリプトの初回実行時には、ベースモデルである「Qwen/Qwen3-TTS-12Hz-1.7B-Base」(固定リビジョン fd4b254389122332181a7c3db7f27e918eec64e3)および関連する音声TokenizerがHugging Faceの標準キャッシュ経由で自動的にダウンロードされる仕様になっています。あらかじめローカルディスクにベースモデルを取得してある場合は、--model /path/to/Qwen3-TTS-12Hz-1.7B-Base パラメータを追加することで、ローカル上のモデルディレクトリを直接指定して実行することも可能です。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。