「Qwen3-30B-A3B-MoE-SAE」解釈可能性分析用スパースオートエンコーダー:必要VRAM 80GB〜

「Qwen3-30B-A3B-MoE-SAE」解釈可能性分析用スパースオートエンコーダー:必要VRAM 80GB〜

基本情報

項目 内容
リポジトリ ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE
公開元のまとめ ByteDance Seed のモデルとライセンスのまとめ
公開日 2026-11-05
ライセンス apache-2.0
出典の種類 未確認(一次情報で裏付けできていない)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ByteDance-Seedが、Qwen3-30B-A3Bモデル向けのスパースオートエンコーダー(SAE)リポジトリ「Qwen3-30B-A3B-MoE-SAE」を公開したと報告されています。ただし、本ニュースは現時点において公式な確認が取れていない未確認情報である点にご注意ください。

本SAEは、論文『Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization』の研究成果として提供されているとされるものです。Qwen3-30B-A3BのMoE(Mixture-of-Experts)ブロック(第4層、第30層、第46層)が出力する特徴量を解析し、人間が解釈可能な細粒度の専門性を抽出・解釈する目的で作成されました。モデルの内部表現の分析や解釈可能性(Interpretability)の研究に活用できるとされています。

スペック

Qwen3-30B-A3B-MoE-SAEおよびベースモデルの主な仕様は以下の通りです。

  • ベースモデル:Qwen/Qwen3-30B-A3B
  • パラメータ数(ベースモデル):総パラメータ数 30.5B、活性パラメータ数 3.3B(Non-Embeddingパラメータ数 29.9B)
  • アーキテクチャ:Qwen3MoeForCausalLM(レイヤー数 48、エキスパート数 128、活性エキスパート数 8)
  • コンテキスト長:ネイティブ 32,768 トークン(YaRN利用時 131,072 トークン)
  • 潜在変数数(Latents):2^20(1,048,576)
  • TopK設定:k = 100
  • 対象レイヤー:第4層、第30層、第46層のMoEブロック出力(model.model.layers[L].mlp)
  • 訓練データ量:SAEあたり約3.2Bトークン(Olmo 3訓練コーパス:Dolma 3事前学習データ 5/8、Dolci-Think-SFT 1/4、Dolci-Instruct-SFT 1/8)

性能

公開元のモデルカードには、各対象レイヤーにおける再構成の非説明分散割合(Fraction of variance unexplained: FVU)が報告されています。

Layer FVU
4 12.6%
30 25.1%
46 7.6%

また、各レイヤーのSAEに含まれるテンソル構造および形状の仕様は以下の通りです。

Tensor Shape
W_enc [2048, 1048576]
b_enc [1048576]
W_dec [1048576, 2048], rows have unit norm
b_dec [2048]

FVUの評価表から言えることとして、出力に近い第46層のSAEではFVUが7.6%まで低下しており、MoEブロックの出力を非常に高い精度で再構成できていることが分かります。一方で、中間層にあたる第30層では25.1%となっており、第4層の12.6%と比べても再構成の誤差が比較的大きく残る傾向にあります。

この結果は、ネットワークの中間レイヤーにおいて内部表現がより複雑化・多義化しており、同じ潜在変数数(1,048,576)であっても情報の捉えやすさに違いが生じている可能性を示唆しています。研究者は解析対象のレイヤーごとに再構成精度の特性が異なる点に留意して解釈可能性の分析を行う必要があります。

得意なこと・想定用途

Qwen3-30B-A3B-MoE-SAEは、ベースモデルであるQwen3-30B-A3BのMoE(Mixture-of-Experts)ブロックの内部挙動を分解・解析し、人間が理解可能な特徴量として視覚化・研究するためのツールセットであるとされています。主な想定用途および分析対象は以下の通りです。

  • エキスパートの専門性解析:第4層、第30層、第46層におけるMoEブロックの出力を取得し、各エキスパートがどのような概念や言語パターンに細粒度で特化しているかを追跡できます。
  • 解釈可能性(Interpretability)の研究:1,048,576個の潜在変数を用いてニューラルネットワークの活性化状態を表現し、モデル内部の表現空間を分解・評価する研究に活用できると報告されています。

また、本SAEの解析対象である元モデル「Qwen3-30B-A3B」自体の得意分野や想定用途としては、以下の点がモデルカードに挙げられています。

  • 思考モードと非思考モードの切り替え:複雑な論理推論・数学・プログラミング向けの「思考モード(thinking mode)」と、応答効率を重視した一般対話向けの「非思考モード(non-thinking mode)」を単一モデル内で動的に切り替える運用が可能です。
  • 高度なエージェント・ツール利用:Qwen-AgentやMCP(Model Context Protocol)と連携した外部ツール呼び出しや、複雑なエージェントタスクに対応しています。
  • 長文読解および多言語対応:YaRN技術を用いることで最大131,072トークンの長文コンテキストに対応するほか、100以上の言語や方言における指示追従や翻訳が可能とされています。

本SAEを使用することで、これらの推論やツール利用を行っている際のモデル内部におけるエキスパートの動的な挙動を、より詳細に検証・分析できるようになるとされています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 30.5B(元モデル Qwen/Qwen3-30B-A3B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
A100 / H100 80GB クラス BF16 56.9GB 68.2GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

入手方法

本SAEは、Hugging FaceにてApache 2.0ライセンスのオープンソースとして公開されていると報告されています。アクセス制限(Gated Access)は設定されておらず、規約同意なしでダウンロードが可能です。

配布形式は safetensors および json となっており、対象となる各レイヤーのフォルダー(layer_4、layer_30、layer_46)内に sae.safetensors と config.json が配置されています。

Python環境からは huggingface_hub や safetensors を用いて重みを取得し、transformers で読み込んだQwen3-30B-A3Bの mlp モジュールにフォワードフックを設定してMoE出力を抽出・デコードする手順が案内されています。具体的な使用コード例は以下の通りです。

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoModelForCausalLM, AutoTokenizer

LAYER, K = 30, 100
DEVICE = "cuda"

sae = load_file(
    hf_hub_download("ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE", f"layer_{LAYER}/sae.safetensors"),
    device = DEVICE,
)

def encode(y):
    pre_acts = y.float() @ sae["W_enc"] + sae["b_enc"]
    return torch.topk(torch.relu(pre_acts), K, dim = -1)

def decode(acts, ids):
    return torch.einsum("...k,...kd->...d", acts, sae["W_dec"][ids]) + sae["b_dec"]

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-30B-A3B", torch_dtype = torch.bfloat16, device_map = "auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-30B-A3B")

captured = {}
def hook(module, inputs, output):
    captured["y"] = output[0] if isinstance(output, tuple) else output

handle = model.model.layers[LAYER].mlp.register_forward_hook(hook)
inputs = tokenizer("def binary_search(arr, x):", return_tensors = "pt").to(model.device)
with torch.no_grad():
    model(**inputs)
handle.remove()

y = captured["y"][0].to(DEVICE)
acts, ids = encode(y)
y_hat = decode(acts, ids)

なお、密な事前活性化処理を行うため、長文シーケンスを入力する際は分割してエンコードすることが推奨されています。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。