Phonon: オンデバイス向け超軽量音声合成モデル

Phonon: オンデバイス向け超軽量音声合成モデル

基本情報

項目 内容
公開元 Hugging Face Blog
公開日 2026-11-05
出典の種類 公開元の一次情報(Hugging Face公式ブログによる一次情報の公開記事)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

完全オンデバイスで動作する小型テキスト音声合成(TTS)モデル「Phonon」の技術的詳細が公開されました。Phononは、サーバーや外部ネットワーク通信を一切必要とせず、ユーザーが端末に入力したテキストから直接音声を生成する「テキスト→音声」モデルです。

65MB〜75MB程度という非常に小さなモデルサイズでありながら高い品質を実現しており、スマートフォンやPC、シングルボードコンピュータ、さらにはブラウザのタブ内など多様な環境でローカル実行が可能です。

スペック

Phononの主なスペックおよび条件は以下の通りです。

  • パラメータ数およびモデルサイズ:
  • Phonon 31m: モデル本体 30,788,354 パラメータ、オーディオトークナイザ 10,305,313 パラメータ(サイズは約65MBです) – Phonon 40m: パラメータ数は未公開(サイズは約75MBです)
  • アーキテクチャ: Pocket TTSの系譜に属し、音声の生成にはFlow matching(フローマッチング)技術を採用しています
  • 出力の仕様: 音声波形(オートリグレッシブに音声潜在表現を生成し、デコーダーで復元します)。電話番号、日付、コードなどの特殊な記号・表記の読み上げに対応しています
  • 対応言語: 英語、フランス語、ドイツ語、スペイン語、ポルトガル語の合計5言語(Phonon 31mは英語のみ、Phonon 40mは5言語全てに対応しています)
  • ボイス機能: 100種類以上の内蔵ボイスを搭載しています。短い録音からのボイスクローニングや、テキスト記述によるボイスデザイン機能を用いたカスタムボイスの作成が可能です
  • ライセンスの条件:
  • Phonon 31m: Apache 2.0ライセンス(商用利用を含め、無料かつ自由に使用・組み込みが可能です) – Phonon 40m: CC BY-NCライセンス(非商用プロジェクトでは無料です。商用製品で利用する場合は生成量ではなくユーザー数に基づいたライセンス体系が適用されます)

性能・品質

公開元により、Hugging Faceが提供する「Open TTS Leaderboard」におけるPhononの評価結果が示されています。同リーダーボードでは、23言語を対象に明瞭度(単語誤り率)、速度(逆リアルタイムファクターおよび最初の音声出力までの時間)、自然さなどでオープンなTTSモデルを評価しています。単語誤り率(WER)は書き起こしの単語単位の誤り率を測定する指標であり、数値が低いほど優秀であることを示します。

明瞭度の評価において、Phononはドイツ語とスペイン語の2言語で第1位を獲得しました。また、評価を行ったすべての言語において、自身の最大100倍のパラメータサイズを持つ大型モデルと並び、上位3位以内にランクインしています。

速度の評価においても非常に優れており、CPUストリーミングベンチマークにおける「最初の音声出力までの時間(time-to-first audio)」の項目で最高位を記録しています。極小規模なモデルサイズでありながら上位の明瞭度とトップクラスのレスポンス速度を両立している一方で、巨大なモデルと比較した際の細かなニュアンスや特定分野の表現力についてはトレードオフが存在すると想定されます。

得意なこと・想定用途

Phononは、ネットワーク通信を一切行わない完全なローカル環境や、各種オンデバイスアプリケーションでのリアルタイム音声合成・読み上げ用途に向いています。

公式ブログでは、具体的な活用シーンとして以下のような事例や用途が挙げられています。

  • 通信オフ環境での音声アシスタント・ガイダンス: Wi-FiをオフにしたApple Watchでの段階的なコーヒー抽出手順の読み上げや、圏外状態のiPhoneでの筋トレのレップ数カウントなど、常時接続が困難な状況での活用が示されています。
  • インタラクティブな対話およびロボット・ゲーム用途: Autonomousのロボット「Lamp」における組分け帽子のようなキャラクターボイスの発話、自作PCやローカル環境で動作するSFゲーム内の音声出力、オフライン動作するブラウザゲームでのラジオ番組風の実況などが紹介されています。
  • 長文朗読およびドキュメント読み上げ: マルセル・プルーストの作品を1ページずつ朗読するような長文テキストの読み上げ用途が挙げられています。
  • 特殊表記の正確な発音: 多くのTTSシステムが誤りやすい電話番号、日付、各種コード表記などの正確な読み上げに対応しています。
  • カスタムボイスの作成と適用: 100種類以上の内蔵ボイスが提供されているほか、話者の同意のもとで用意した短時間の録音データからのボイスクローニングや、Gradium Studioにおいてテキストで特徴を記述して生成するボイスデザイン機能を活用できます。作成したボイスファイル(スピーカー潜在表現のテンソル)をローカルに読み込むことで、任意の声を端末上で発話させることができます。

入手方法

Phononは、用途や実行環境に応じた複数のライブラリおよび推論エンジン経由で入手・利用が可能です。

専用の軽量推論フレームワークとして ptss が開発されています。ptss は端末上での単一ストリーム実行に最適化されており、CPU(Intel、Arm、WebAssembly)、GPU(CUDA、Vulkan、Metal、WebGPU)、NPU(Apple Core ML、Snapdragon®)など、10種類以上のバックエンドをサポートしています。

また、Hugging Faceの Transformers(v5.21以降)にも公式のPyTorch参照実装として組み込まれています。Transformers では、GPUを用いたバッチ生成や torch.compile によるグラフ最適化に対応しており、大規模な音声データセットの合成処理に適しています。

Transformers を使用してモデルとプロセッサを読み込むPythonコードの例は以下の通りです。

from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")

発話に使用する声のデータは gradium/phonon-voices リポジトリから safetensors 形式の事前計算済みデータとしてダウンロードして利用します。AutoProcessor の apply_chat_template メソッドにボイスデータを渡し、generate メソッドで生成した潜在表現を decode することで音声ファイル(.wav)として保存できます。

このほか、エコシステムとして、ブラウザ上でGPU推論を行うExecuTorch変換プロジェクトや、Node.jsアプリケーション向けの Micdrop、Hugging Face Spaces上の smallest-s2s などからの利用や組み込みも進められています。

関連記事

次に読むなら

出典