「s2-pro-GGUF」80言語対応の音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

「s2-pro-GGUF」80言語対応の音声合成モデル:必要VRAM 8GB〜・配布ファイル一覧

基本情報

項目 内容
リポジトリ ggml-org/s2-pro-GGUF
公開元のまとめ Fish Audio のモデルとライセンスのまとめ
公開日 2026-11-18
ライセンス fish-audio-research-license
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで一次情報確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-org/s2-pro-GGUF は、テキストを入力すると音声が出力される text-to-speech モデル fishaudio/s2-pro を、GGUF 形式に変換したものです。ggml-org が自動変換して公開しており、llama-tts や llama serve の /tts エンドポイントで動かせます。以下の性能・仕様は、特に記載がない限り元モデル fishaudio/s2-pro のモデルカードに基づきます。

スペック

  • 元モデル: fishaudio/s2-pro(Fish Audio S2 Pro)。モデルカードは「10M+ 時間以上の音声データ、80以上の言語で学習」と述べています
  • アーキテクチャ: デコーダのみの Transformer と RVQ ベースの音声コーデック(10 codebooks、約21Hzのフレームレート)を組み合わせた Dual-Autoregressive(Dual-AR)構成です
  • Slow AR(4B parameters): 時間軸方向に動作し、主となるセマンティックな codebook を予測します – Fast AR(400M parameters): 各時間ステップで残りの9個の residual codebook を生成し、細かな音響的ディテールを再構成します
  • 学習手法: 強化学習によるアライメントを組み合わせているとされています
  • 対応言語: 80以上
  • Tier 1: 日本語(ja)、英語(en)、中国語(zh) – Tier 2: 韓国語、スペイン語、ポルトガル語、アラビア語、ロシア語、フランス語、ドイツ語 – そのほか sv, it, tr, no, nl など多数に対応するとされています
  • インライン制御: [tag] 形式で自然言語の指示をテキスト中に埋め込めます。固定のタグ集合ではなく、[whisper in small voice]、[professional broadcast tone]、[pitch up] のような自由記述も受け付けます。よく使うタグには [pause]、[emphasis]、[laughing]、[whisper]、[sad]、[singing] などがあり、15,000以上の固有タグに対応するとされています
  • GGUF版の使い方の特徴:
  • 話者タグ(<|speaker:0|> など)で登場人物ごとに声を割り当てられます – ボイスクローンは --tts-speaker-file に参照音声を指定し、必要に応じて --tts-speaker-text で書き起こしを渡します
  • ライセンスの条件: GGUF版のカードによると、研究および非商用は無料で、商用利用は制限されています。詳細はライセンス本文の確認が必要です

性能・品質

モデルカードに他モデルとの比較表やベンチマークスコアの記載はありません。以下は公開元(Fish Audio)が元モデルについて自ら述べている内容です。

  • モデルカードは S2 Pro を「単語レベルで韻律や感情を細かく制御できる、先進的な TTS モデル」と位置づけています
  • ストリーミング性能として、NVIDIA H200 1基で次の数値が挙げられています
  • Real-Time Factor(RTF): 0.195 – 最初の音声が出るまでの時間: 約100 ms – スループット: RTF を0.5未満に保ったまま 3,000+ acoustic tokens/s

これらは SGLang ベースのストリーミング推論エンジンでの数値と読み取れます。GGUF版を llama-tts で動かした場合の速度や品質は資料に記載がなく、未確認です。

得意なこと・想定用途

以下は元モデル fishaudio/s2-pro のモデルカードの記述に基づきます。

  • 感情や話し方を細かく指定する音声合成: [laughing]、[whisper]、[sad]、[excited]、[pause] などのタグを、単語レベルでテキスト中に挟めます。カードによると [whisper in small voice] や [professional broadcast tone] のような自由記述も使えます。ナレーション、キャラクターのセリフ、対話音声など、抑揚の演出が要る用途に向きます。
  • 複数話者の掛け合い: GGUF版では <|speaker:0|> のような話者タグで、登場人物ごとに声を割り当てられます。
  • 声のクローン: --tts-speaker-file に参照音声を渡して使えます。書き起こしがあれば --tts-speaker-text で添えられます。声質の再現度は資料に記載がなく、未確認です。
  • 多言語の読み上げ: 80以上の言語に対応し、Tier 1 は日本語・英語・中国語です。日本語の読み上げを手元で試したい読者にとっても、対象言語に入っているのは朗報です。

今回の GGUF 版は、元モデルの重みを ggml-org が自動変換したものです。性能や得意分野を変えるための追加学習ではなく、llama.cpp 系のツールで動かせるようにしたものと読み取れます。

商用利用を考えている場合は注意してください。GGUF版のカードは、研究と非商用は無料で、商用利用は制限されると述べています。条件の詳細はライセンス本文を確認してください。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.6B(元モデル fishaudio/s2-pro の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB Q8_0 4.0GB 4.8GB
RTX 4070 / 3060 12GB など 12GB BF16 7.5GB 9.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF です。

ライセンス fish-audio-research-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

量子化の圧縮率: Q8_0 は実測 7.53 bit/weight で、元の16bitの重みの約47%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(fish-audio-research-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

配布ファイル

ggml-org/s2-pro-GGUF で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
mmproj-s2-pro-BF16.gguf 2.05GB
s2-pro-BF16.gguf 8.07GB
s2-pro-Q8_0.gguf 4.29GB

入手方法

  • 配布形式: GGUF です。gated ではないため、Hugging Face 上でライセンス同意を求められずに取得できます。ただし重みは Fish Audio Research License の下で公開されています。
  • リポジトリ: ggml-org/s2-pro-GGUF(元モデルは fishaudio/s2-pro)
  • 対応ツール: llama.cpp の llama-tts と llama serve です。ComfyUI などほかのツールへの対応は資料に記載がありません。

ターミナルから実行する場合は、次のコマンドを使います。

llama-tts -hf ggml-org/s2-pro-GGUF -p "<|speaker:0|>Hello world [laughing]" --output out.wav

サーバーとして使う場合は、次のコマンドで起動し、/tts エンドポイントを呼び出します。

llama serve -hf ggml-org/s2-pro-GGUF

ボイスクローンの具体的な手順は、カードが案内する llama.cpp の TTS ドキュメント(Fish Audio S2 Pro の項)にまとまっています。

カードによると、この変換は https://github.com/ggml-org/convert により自動で行われています。量子化の種類ごとの品質差は資料に記載がありません。

関連記事

次に読むなら

出典