音楽生成モデルYuE2-3B向け実音声トークナイザーv4公開
基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 |
| 公開日 | 2026-09-14 |
| ライセンス | cc-by-nc-4.0 |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(HuggingFace公式リポジトリが一次情報として確認可能) |
収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。
概要
Mothersuperiorは、オープンな音楽生成モデル「YuE2-3B」向けのリアル音声用ツールキット「Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4」を公開した。音声や音楽を入力として受け取り、セマンティックトークンへのエンコードやNARブランチのLoRAを通じて実際のプロダクションレベルの潜在表現をレンダリングできる実音声トークナイザーである。これによって自身の録音のトークン化やアーティストのLoRA微調整、新しい楽曲やカバーの生成が可能になる。
スペック
- ベースモデル: m-a-p/YuE2-3B
- ライセンス: cc-by-nc-4.0 (非商用利用のみ)
- 含まれるファイル:
tokenizer_head_joint_v4.pt: MERT-v2-FullSongレイヤー20の特徴量から32,768個のYuE2セマンティックコードへ変換する8層のトランスフォーマー (d=512、512フレームウィンドウ)。YuE2自身の楽曲における保持データでの正解率は16.1% top-1 –nar_lora_joint_v4.pt: 28層のnar_self_attn.{q,k,v,o}_projとnar_mlp.{gate,up,down}_proj、およびvae2llm/llm2vaeに対するランク32のLoRA
性能・品質
元モデルのモデルカードでは、WildSongBenchおよびSHS100Kにおける評価結果が公表されている。以下はWildSongBenchにおけるフル楽曲生成の評価結果である。
→ 横にスクロールできます
| Model | Musicality ↑ | SongBench Avg ↑ | MuLan ↑ | AllMusicCaps ↑ | Q3O ↑ | PER ↓ |
|---|---|---|---|---|---|---|
| YuE 1 | 4.0847 | 4.9165 | 0.2623 | 0.2882 | 3.7301 | 36.38% |
| SongBloom | 3.4493 | 4.2350 | 0.2697 | 0.1926 | 3.0287 | 19.19% |
| LeVo 2 | 5.4590 | 6.3247 | 0.3542 | 0.2680 | 3.9458 | 26.12% |
| ACE-Step 1.5 | 5.1588 | 6.0118 | 0.4372 | 0.3869 | 4.5809 | 7.46% |
| HeartMuLa | 5.4963 | 6.2483 | 0.3823 | 0.2786 | 3.4907 | 10.71% |
| DiffRhythm 2 | 4.4775 | 5.2428 | 0.3782 | 0.3255 | 4.0870 | 18.41% |
| Muse | 5.1692 | 6.0349 | 0.3937 | 0.3466 | 4.4038 | 33.42% |
| MiniMax Music 3 | 5.3482 | 6.2830 | 0.3928 | 0.3609 | 4.4362 | 6.27% |
| YuE2 | 5.9075 | 6.7316 | 0.5068 | 0.4054 | 4.6819 | 8.44% |
| YuE2 (best-of-8) | 6.2666 | 6.9632 | 0.5051 | 0.3980 | 4.7009 | 9.79% |
元モデルのYuE2は、MusicalityやSongBench Avg、MuLan、AllMusicCapsなどの多くの指標で優れた数値を記録している一方で、PER（音素エラー率）などの一部項目では他モデルに及ばない部分もある。これらは公開元が自ら公表した数値である。
得意なこと・想定用途
自身の録音音源のトークン化や、特定のアーティストの楽曲群を用いたLoRAによるARの微調整、および新しい楽曲やカバー曲の生成に向いている。4,765曲のYuE2自己生成曲で訓練された後にリアル音声へ適応されており、追加の正則化パック（Mothersuperior/yue2-minted-corpus）を組み合わせることで少数のアーティストセットによるトークン文法の崩壊を防ぐことができる。また、既存の録音をSheetSage2などで文字起こししてメロディを取得し、カバー曲を生成することも可能である。
類似モデルとの違い
本モデルは元モデルである 音楽生成モデル「YuE2-3B」公開、歌詞とスタイルから楽曲制作 や ComfyUI向け音楽生成モデル「YuE2-3B」リパッケージ版が公開 とは異なり、公式には同梱されていない実音声用のトークナイザーやNARブランチのLoRAを追加し、自身の音源を使ったトークン化やアーティスト特化のLoRA学習を直接行えるようにしている点が具体的な違いとなっている。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 3.6B(元モデル m-a-p/YuE2-3B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4070 / 3060 12GB など 12GB | BF16 | 6.8GB | 8.1GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
入手方法
- リポジトリ:
Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4(Hugging Face) - 必要な追加データ:
Mothersuperior/yue2-minted-corpusから正則化パック (regularizer/minted_regularizer_pack.pt) の取得が必要 - 依存関係: Python 3.12のvenv、
yue2-infer(commit 92a73cc7)、torch 2.10 + cu128、torchaudio 2.10、transformers、soundfile、scipy、safetensors、demucs