「drama-3-int4」マルチ話者対応の音声合成モデル:必要VRAM 32GB〜・配布ファイル一覧

「drama-3-int4」マルチ話者対応の音声合成モデル:必要VRAM 32GB〜・配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ fishaudio/drama-3-int4
まとめページ drama-3 のまとめ(記事1本)
公開元のまとめ Fish Audio のモデルとライセンスのまとめ
公開日 2026-10-15
ライセンス fish-audio-community-license
配布形式 PyTorch (pth) / safetensors
出典の種類 未確認(一次情報で裏付けできていない)(非公式量子化版で一次情報なし)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Fish Audioのマルチスピーカー音声合成モデル「drama-3」をint4量子化した派生版「drama-3-int4」が公開されたと報告されています。ただし今回のリポジトリはFish Audio公式ではなく、サードパーティによる非公式の量子化版である点に注意してください。入力はテキスト(および任意の参照音声クリップ)で、出力は多言語・複数話者に対応した音声です。

スペック

  • ベースモデルはMoE構成のテキストバックボーンで、総パラメータ35B・アクティブ3B、フル注意とリニア注意のハイブリッド構成とされています
  • 音声デコーダーは10個のコードブックを系列全体にわたって因果的にデコードする「Codebook-MTP」方式とされています
  • 今回の量子化(ハイブリッドW4A16)では、エキスパート・attentionのq/k/v/o・deltanetの入出力投影をint4化し、shared-expert MLPと音声デコーダー/コーデックはbf16のまま保持したとされています。shared-expert MLPをint4化すると数値チェック自体は通るものの、サービング時に音声フレームがゼロになる不具合が出たため見送ったと説明されています
  • 量子化手法はRTN(round-to-nearest)+グループ単位(group 128)のクリップ探索で、キャリブレーションデータは使用していないとされています
  • 配布元のタグによれば、対応言語はen/zh/ja/koを含む多言語とされています(ベースモデルのタグにはさらに多くの言語が含まれています)
  • 推奨のサービング設定として、A100-80GBで--tts_engine.gpu_memory_fraction 0.62・--vocoder.gpu_memory_fraction 0.2が例示されています
  • ライセンスは、量子化版のタグでは"license: other"、ベースモデルは"fish-audio-research-license"とされており、両者で名称が異なっている点は資料から確認できますが、商用利用可否などの具体的な条件は本資料からは読み取れません

性能・品質

量子化版の配布者は、Whisper large-v3によるWERとresemblyzerによる話者類似度を使い、8プロンプトで別の有志量子化版(darioooooo0o/drama-3-w4a16-32gb、int8 dense・24.5GB)と比較したと報告しています。

mean WER ↓ mean WER excl. zh ↓ speaker sim ↑
本リポジトリ(int4 hybrid, 22.1GB) 0.197 0.082 0.846
比較対象(int8 dense, 24.5GB) 0.259 0.154 0.846

WERは値が低いほど書き起こし誤りが少ないことを示す指標で、本リポジトリの方が比較対象より低く(優秀)なっています。一方、話者類似度は両者とも0.846で並んでおり差はありません。プロンプト単位では、比較対象側が長文パラグラフで文末を幻覚的に生成した例(WER 0.667 対 本リポジトリ0.028)がある一方、本リポジトリ側はタグ入りの一文で末尾が途切れた例(0.333 対 比較対象0.25)が報告されており、一長一短であるとされています。なお中国語プロンプトはjiwerのトークナイズの癖でWER 1.0となったものの、これはモデル差ではなく計測上のアーティファクトと説明されています。

これらの数値は量子化版の配布者自身による計測であり、Fish Audio公式のベンチマークではない点に留意してください。

得意なこと・想定用途

非公式な量子化版として報告されている本モデルは、複数のキャラクターが登場する対話シーンや、ポッドキャストのような長尺のオーディオコンテンツの制作に非常に適しているとされています。元モデルの設計思想を継承しており、テキスト内に特定のタグを挿入することで、1つの音声ファイルの中で最大16人までの異なる登場人物を演じ分けることが可能です。これにより、複雑な構成を持つオーディオドラマなどの制作を効率化できると期待されています。

音声のクローニング(Voice Cloning)機能も大きな特徴です。わずか数秒の参照音声(リファレンス)を入力として与えるだけで、その人物の声質を模倣した音声を生成できます。さらに、感情表現の制御も可能とされており、テキストの中に [sighs](ため息)や [laughs](笑い)といったタグを挿入することで、文脈に応じた自然な感情の変化を再現できると報告されています。

また、生成プロセスを継続的に編集できる「continuation」機能も、実用上の大きな利点です。previous_takes パラメータを使用することで、以前に生成した音声のトークンをコンテキストとして保持したまま、新しいテキストを生成させることができます。これにより、文章の一部だけを修正したり、長い物語を整合性を保ちながら継ぎ足して生成したりすることが可能です。

対応言語については、リポジトリのタグに英語、中国語、日本語、韓国語の4言語が明示されています。ベースモデルの仕様によれば、この他にもスペイン語、フランス語、ドイツ語、イタリア語などを含む広範な多言語サポートが想定されており、グローバルな用途への対応が図られています。

この量子化版独自の利点として、ハードウェアの互換性も挙げられます。元モデルのFP8版は最新のHopper世代(H100等)やAda Lovelace世代(RTX 40シリーズ等)のGPUを必要としますが、このint4版はAmpere世代(A100等)のGPUでも動作するように設計されており、より幅広いサーバー環境で最新の音声合成技術を利用できる可能性があります。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 35.9B(元モデル fishaudio/drama-3 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5090 など 32GB INT4 20.6GB 24.7GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は PyTorch (pth) / safetensors です。

ライセンス fish-audio-community-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

量子化の圧縮率: INT4 は実測 4.93 bit/weight で、元の16bitの重みの約31%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(fish-audio-community-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

fishaudio/drama-3-int4 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
codec.pth 1.87GB
model-*-of-00012.safetensors 22.10GB(12分割)

入手方法

本モデルは safetensors 形式で配布されており、Hugging Faceのリポジトリ fishaudio/drama-3-int4 から入手可能です。現時点で、入手にあたってのライセンス同意(Gate)は設定されていません。

推論およびサービングには、SGLang-Omni を使用することが推奨されています。導入の手順は以下の通りです。まず、リポジトリをクローンし、uv を用いて依存関係をインストールします。

git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv venv -p 3.12.venv &&..venv/bin/activate
uv pip install --prerelease=allow -e ".[fishaudio]"
uv pip install ninja

次に、モデルをダウンロードし、リポジトリに含まれる apply_patch.py を実行して、量子化メソッドを登録するパッチを適用する必要があります。このパッチは、特定のモジュールの重みを正しく読み込むために必須であると説明されています。

# モデルのダウンロード例
hf download fishaudio/drama-3-int4 --local-dir drama-3-int4

# パッチの適用
python drama-3-int4/apply_patch.py.

サーバーの起動は、以下のコマンドで行います。A100-80GBでの実行例として、GPUメモリの割り当て率を指定するオプションが示されています。

sgl-omni serve --model-path drama-3-int4 --port 8000 \
  --tts_engine.gpu_memory_fraction 0.62 --vocoder.gpu_memory_fraction 0.2

起動後は、標準のDrama 3 API(/v1/audio/speech)を通じて、テキスト入力、参照音声の指定、感情タグの利用、および previous_takes による編集機能が利用可能になるとされています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-16 ggml-org GGUF ggml-org/drama-3-GGUF Q4_K_M 23.0GB(24GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • ggml-org/drama-3-GGUF の量子化: Q4_K_M 19.1GB / Q8_0 34.4GB / BF16 64.6GB

このほか、上記以外の投稿者による変換版が 2 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

同じ用途の既報モデル

当サイトが取り上げた音声のモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。

音声のモデルをすべて見る →

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。