「yue2-mothersuperior-realaudio-tokenizer-v4」：必要VRAM 12GB〜
基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 |
| まとめページ | YuE2 のまとめ(記事3本) |
| 公開元のまとめ | M-A-P のモデルとライセンスのまとめ |
| 公開日 | 2026-09-14 |
| ライセンス | cc-by-nc-4.0 |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(HuggingFace公式リポジトリが一次情報として確認可能) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
Mothersuperiorは、オープンな音楽生成モデル「YuE2-3B」向けのリアル音声用ツールキット「Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4」を公開しました。音声や音楽を入力として受け取り、セマンティックトークンへのエンコードやNARブランチのLoRAを通じて実際のプロダクションレベルの潜在表現をレンダリングできる実音声トークナイザーです。これによって自身の録音のトークン化やアーティストのLoRA微調整、新しい楽曲やカバーの生成が可能になります。
スペック
- ベースモデル: m-a-p/YuE2-3B
- ライセンス: cc-by-nc-4.0 (非商用利用のみ)
- 含まれるファイル:
tokenizer_head_joint_v4.pt: MERT-v2-FullSongレイヤー20の特徴量から32,768個のYuE2セマンティックコードへ変換する8層のトランスフォーマー (d=512、512フレームウィンドウ)。YuE2自身の楽曲における保持データでの正解率は16.1% top-1 –nar_lora_joint_v4.pt: 28層のnar_self_attn.{q,k,v,o}_projとnar_mlp.{gate,up,down}_proj、およびvae2llm/llm2vaeに対するランク32のLoRA
性能・品質
元モデルのモデルカードでは、WildSongBenchおよびSHS100Kにおける評価結果が公表されています。以下はWildSongBenchにおけるフル楽曲生成の評価結果です。
→ 横にスクロールできます
| Model | Musicality ↑ | SongBench Avg ↑ | MuLan ↑ | AllMusicCaps ↑ | Q3O ↑ | PER ↓ |
|---|---|---|---|---|---|---|
| YuE 1 | 4.0847 | 4.9165 | 0.2623 | 0.2882 | 3.7301 | 36.38% |
| SongBloom | 3.4493 | 4.2350 | 0.2697 | 0.1926 | 3.0287 | 19.19% |
| LeVo 2 | 5.4590 | 6.3247 | 0.3542 | 0.2680 | 3.9458 | 26.12% |
| ACE-Step 1.5 | 5.1588 | 6.0118 | 0.4372 | 0.3869 | 4.5809 | 7.46% |
| HeartMuLa | 5.4963 | 6.2483 | 0.3823 | 0.2786 | 3.4907 | 10.71% |
| DiffRhythm 2 | 4.4775 | 5.2428 | 0.3782 | 0.3255 | 4.0870 | 18.41% |
| Muse | 5.1692 | 6.0349 | 0.3937 | 0.3466 | 4.4038 | 33.42% |
| MiniMax Music 3 | 5.3482 | 6.2830 | 0.3928 | 0.3609 | 4.4362 | 6.27% |
| YuE2 | 5.9075 | 6.7316 | 0.5068 | 0.4054 | 4.6819 | 8.44% |
| YuE2 (best-of-8) | 6.2666 | 6.9632 | 0.5051 | 0.3980 | 4.7009 | 9.79% |
元モデルのYuE2は、MusicalityやSongBench Avg、MuLan、AllMusicCapsなどの多くの指標で優れた数値を記録している一方で、PER（音素エラー率）などの一部項目では他モデルに及ばない部分もあります。これらは公開元が自ら公表した数値です。
得意なこと・想定用途
自身の録音音源のトークン化や、特定のアーティストの楽曲群を用いたLoRAによるARの微調整、および新しい楽曲やカバー曲の生成に向いています。4,765曲のYuE2自己生成曲で訓練された後にリアル音声へ適応されており、追加の正則化パック（Mothersuperior/yue2-minted-corpus）を組み合わせることで少数のアーティストセットによるトークン文法の崩壊を防ぐことができます。また、既存の録音をSheetSage2などで文字起こししてメロディを取得し、カバー曲を生成することも可能です。
類似モデルとの違い
本モデルは元モデルである 音楽生成モデル「YuE2-3B」公開、歌詞とスタイルから楽曲制作 や ComfyUI向け音楽生成モデル「YuE2-3B」リパッケージ版が公開 とは異なり、公式には同梱されていない実音声用のトークナイザーやNARブランチのLoRAを追加し、自身の音源を使ったトークン化やアーティスト特化のLoRA学習を直接行えるようにしている点が具体的な違いとなっています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 3.6B(元モデル m-a-p/YuE2-3B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4070 / 3060 12GB など 12GB | BF16 | 6.8GB | 8.1GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 この配布は LoRA 等のアダプタで、表は元モデル m-a-p/YuE2-3B を動かす要件です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
公開元の配布形式は safetensors です。
ライセンス cc-by-nc-4.0(商用利用不可):
商用利用は禁止されています(NC = 非営利)。社内の業務利用も「商用」に当たり得るため、業務で使う予定があるなら避けるべきライセンスです。
配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
ライセンスの都合で行っていない実測
このモデルのライセンス(cc-by-nc-4.0)は商用利用を認めていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。
配布ファイル
Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 で配布されている重みファイルを、Hugging FaceのAPIから当サイトが並べたものです。サイズは実ファイルの値です。
| ファイル | サイズ |
|---|---|
nar_lora_joint_v4.bf16.safetensors |
70MB |
nar_lora_joint_v4.pt |
141MB |
nar_lora_joint_v4.safetensors |
141MB |
nar_lora_joint_v4_comfyui.safetensors |
108MB |
nar_lora_joint_v5.bf16.safetensors |
70MB |
nar_lora_joint_v5.safetensors |
141MB |
nar_lora_joint_v5_comfyui.safetensors |
108MB |
nar_lora_joint_v8.bf16.safetensors |
70MB |
nar_lora_joint_v8.safetensors |
141MB |
nar_lora_joint_v8_comfyui.safetensors |
108MB |
nar_lora_joint_v9.bf16.safetensors |
70MB |
nar_lora_joint_v9.safetensors |
141MB |
nar_lora_joint_v9_comfyui.safetensors |
108MB |
tokenizer_head_joint_v4.bf16.safetensors |
86MB |
tokenizer_head_joint_v4.pt |
171MB |
tokenizer_head_joint_v4.safetensors |
171MB |
tokenizer_head_joint_v5.bf16.safetensors |
86MB |
tokenizer_head_joint_v5.safetensors |
171MB |
tokenizer_head_joint_v8.bf16.safetensors |
86MB |
tokenizer_head_joint_v8.safetensors |
171MB |
ほか4件はHugging Faceで確認できます。
入手方法
- リポジトリ:
Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4(Hugging Face) - 必要な追加データ:
Mothersuperior/yue2-minted-corpusから正則化パック (regularizer/minted_regularizer_pack.pt) の取得が必要 - 依存関係: Python 3.12のvenv、
yue2-infer(commit 92a73cc7)、torch 2.10 + cu128、torchaudio 2.10、transformers、soundfile、scipy、safetensors、demucs
関連記事
次に読むなら
- 同じモデル系統を調べる → YuE2 系統のまとめ(記事3本)
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → M-A-P のモデル・ライセンス・記事のまとめ
出典
- https://huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4
- https://huggingface.co/m-a-p/YuE2-3B
更新履歴
- 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
- 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。