「tiny-voca」英語の音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

「tiny-voca」英語の音声合成モデル:必要VRAM 4GB〜・配布ファイル一覧

作例は配布元のモデルカードで公開されています。

基本情報

項目 内容
リポジトリ n4ze3m/tiny-voca
公開日 2026-11-15
ライセンス apache-2.0
配布形式 GGUF / ONNX
出典の種類 公開元の一次情報(モデル公開元がHuggingFaceの公式ページ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

n4ze3m氏によって、軽量な英語テキスト読み上げ(text-to-speech)モデル「tiny-voca」が公開されました。本モデルは、入力された英語のテキストから音声波形を生成するモデルであり、女性声「F2」および男性声「M2」の2種類のボイスに対応しています。

波形生成器を含めたモデル全体のパラメータ数は4.5M(約450万パラメータ)と非常にコンパクトに設計されています。約18時間の合成音声データを用いてゼロから学習されており、4つのCPUスレッド上でリアルタイムの約70倍の速度で動作すると報告されています。

スペック

資料に記載されているtiny-vocaの主なスペックや仕様は以下の通りです。

  • パラメータ数: 4,537,291(モデル全体)。うち波形生成部分は25,862
  • アーキテクチャ: Transformer Encoder(4ブロック)、Duration Predictor、フレームレベルTransformer(2ブロックおよび5ブロック)、Source-Filter Synthesizer
  • ブロック仕様: 全ブロックで192チャンネル、4ヘッド、Rotary Position Embeddings(RoPE)を採用
  • 音声合成方式: ニューラルボコーダーではなく、時間変化フィルタとパルス列/ノイズ信号によるソースフィルタ合成器を使用(1フレームあたり256サンプル、10.7 ms)
  • 出力仕様: 24 kHz モノラル音声
  • 対応言語: 英語(アメリカ英語)
  • ボイスの種類: F2(女性声)、M2(男性声)の2種類
  • 入力形式: テキスト(dizioneによって音素IDおよびストレス値に変換)
  • 学習データ: Qwen3-TTS VoiceDesignで作成しQwen3-TTS 1.7B Baseで生成した約18時間の合成音声(実在する話者の録音は不使用)。音素アライメントにfacebook/wav2vec2-lv-60-espeak-cv-ftを使用
  • 事前学習済みの重み: なし(ゼロから学習)
  • ライセンス: Apache-2.0

性能・品質

モデルカードでは、生成された合成音声を音声認識モデル「Whisper small.en」で書き起こし、単語誤り率(WER)を測定した評価結果が公表されています。同一の文章を録音した音声のスコアも参考値として掲載されています。

Sentences Clips WER, tiny-voca WER, recordings
Validation 8 0.6% 0.6%
Test 8 0.9% 0.9%
New sentences, not in the dataset 16 0.0%

WER(書き起こしの単語単位の誤り率)は数値が低いほど正確で優秀であることを示します。tiny-vocaの合成音声のWERはValidationセットで0.6%、Testセットで0.9%であり、参照用の録音音声と同等の低い誤り率となっています。また、学習データセットに含まれない新しい文章(New sentences)でのWERは0.0%と測定されています。

ただし公開元は、これらの評価セットは規模が小さく正常性確認(sanity check)のためのものであり、公式なベンチマークやフォーマルな聴取テストではないことを説明しています。また、音声は明確であるもののわずかに合成音っぽさが残ること、F2ボイスが意図よりも若く聞こえることなどの制限事項についてもモデルカード内で言及されています。

得意なこと・想定用途

tiny-vocaは、計算リソースが制限された環境や高スピードな処理が求められる環境での英語テキスト読み上げに向いています。4スレッドのCPU上でリアルタイムの約70倍という高速な推論が可能であり、スマートフォンやWebブラウザ(onnxruntime-webによるWebAssembly環境)といった軽量な実行環境での活用が想定されています。

モデルの得意な用途や機能的特徴は以下の通りです。

  • 2種類のアメリカ英語ボイス: 女性声の「F2」および男性声の「M2」という2つの定常ボイスを利用できます。
  • 長文テキストの自動分割処理: 1回の発話処理で最大512トークン、最長32秒までの音声生成に対応します。長文が入力された場合でも、文章を1句節ごとに分割して生成し、最終的に連結して保存する仕組みが用意されています。
  • 音声制御パラメータ: 話速(speed)、ピッチのシフト量(pitch-shift)、ピッチの変動幅(pitch-range)を柔軟に変更可能です。ピッチシフトに0.058を指定することで約1半音分の調整が行えます。

一方で、軽量性と引き換えにした機能上の制限や留意点も提示されています。

  • 対応言語とボイスの制限: 英語のみに対応しており、ボイスの追加や音声クローン(Voice cloning)機能には対応していません。
  • 抑揚の固定: 抑揚(プロソディ)のサンプリングを行わないため、同一のテキストからは常に全く同じ音声が生成されます。
  • 末尾の句読点への依存: 句点などの終止記号がないテキストを入力すると、最後の単語が途切れてしまうことがあります。文章の最後にはピリオド等の記号を付与する必要があります。
  • 発音の精度: 外国語の人名や変則的な綴りの単語は誤読されるケースがあります。また、数値や略語、同音異義語の読上げ精度は音素変換器(dizione)の挙動に依存します。
  • 非ストリーミング生成: 音声のストリーミング再生出力には対応していません。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_0 0.0GB 0.0GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は GGUF / ONNX です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

配布ファイル

n4ze3m/tiny-voca で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。

ファイル サイズ
gguf/tiny-voca-f16.gguf 15MB
gguf/tiny-voca-orig.gguf 24MB
gguf/tiny-voca-q4_0.gguf 9MB
gguf/tiny-voca-q8_0.gguf 11MB
onnx/model.onnx 21MB
tiny-voca.pt 18MB

入手方法

tiny-vocaは、Hugging Faceのリポジトリ(n4ze3m/tiny-voca)にて公開されています。利用にあたって事前のアクセス申請やライセンス同意の手続きは不要(gated設定はなし)であり、誰でもダウンロードして利用できます。

配布形式としては、PyTorch形式のチェックポイント(tiny-voca.pt)およびONNX形式のファイル(onnx/model.onnx)が提供されています。

PyTorchでの実行方法

PyTorch環境で利用する場合は、音素変換ライブラリdizioneとtiny-vocaのパッケージをインストールし、以下の手順で推論を行います。

pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca
hf download n4ze3m/tiny-voca --local-dir tiny-voca
export DIZIONE_DATA=tiny-voca/phonemizer

python -m tiny_voca.infer \
  --checkpoint tiny-voca/tiny-voca.pt \
  --voice F2 \
  --text "Hello! This is tiny voca." \
  --output hello.wav

ONNXでの実行方法

ONNXモデルを使用する場合は、onnxruntimeおよびdizioneを利用します。テキストをdizioneで音素ID(tokens)とストレス値(stress)に変換した上で、セッションに渡して音声波形を取得します。

import numpy as np
import onnxruntime as ort
import soundfile as sf
import dizione   # DIZIONE_DATA=tiny-voca/phonemizer の設定が必要

phones = dizione.phonemize("Hello! This is tiny voca.")
one = lambda value: np.array([value], dtype=np.float32)

session = ort.InferenceSession("tiny-voca/onnx/model.onnx")
audio, durations = session.run(None, {
    "tokens": np.array([phones.ids], dtype=np.int64),
    "stress": np.array([phones.stress], dtype=np.int64),
    "voice": np.array([0], dtype=np.int64),      # 0 = F2, 1 = M2
    "speed": one(1.0),
    "pitch_shift": one(0.0),
    "pitch_range": one(1.0),
})
audio = audio[0]
audio = audio * min(1.0, 0.99 / np.abs(audio).max())    # 音割れ防止用のスケーリング
sf.write("hello.wav", audio, 24000)

なお、生成された音声波形は20文に1文程度の割合で振幅のピーク値が1.0を超える場合があるため、上記サンプルコードのようにファイル保存前に振幅を適宜調整(クリッピング防止)することが推奨されています。また、ONNXモデルはWebAssembly環境(onnxruntime-web)でも動作し、PyTorch版とほぼ同様(ピーク振幅の差が0.6%以内)の音声波形が出力されます。

関連記事

次に読むなら

出典