「Simple-Attention-Sparsification」テキスト生成モデル：必要VRAM 12GB〜
基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | tencent/Simple-Attention-Sparsification |
| 公開元のまとめ | Tencent のモデルとライセンスのまとめ |
| 公開日 | 2026-09-14 |
| 配布形式 | PyTorch (pth) |
| 論文 | arXiv:2609.13141 |
| 出典の種類 | 公開元の一次情報(tencent公式アカウントによる公開で、一次情報として裏付けが取れている) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
当サイトで確かめたこと
- 同じ日本語を表すのに要るトークン数は、Qwen3 のトークナイザとほぼ同じです。
詳しい値と条件は、下の「当サイトでの実測」の節にあります。
概要
Tencentは、Qwen3モデル向けのSimple Attention Sparsification (SAS) チェックポイントを公開しました。SASは、連続的なゲートを使用してKVブロックを選択・ランク付けし、言語モデリング損失によってエンドツーエンドで最適化できるようにするスパースアテンションの手法です。公開されたチェックポイントはルーター部分のみであり、実行には対応するQwen3のベースモデルと専用のバックエンドが必要となります。
スペック
- ベースモデル: Qwen/Qwen3-4B
- タグ: qwen3, sparse-attention, long-context, sglang, sas, text-generation
- チェックポイントの種類: ルーター専用チェックポイント (Qwen3のバックボーンは凍結され同梱されていない)
スペック・構成表
| Directory | Base model | Gate parameters | Gate checkpoint size |
|---|---|---|---|
Qwen3-4B-AttnGates |
Qwen3-4B | 33.0M | 64 MiB |
Qwen3-8B-AttnGates |
Qwen3-8B | 33.0M | 64 MiB |
Qwen3-14B-AttnGates |
Qwen3-14B | 42.0M | 81 MiB |
| Setting | Value |
|---|---|
| KV block size | 64 tokens |
| Training Top-K | 31 historical blocks |
| Gate hidden size | 128 |
| Query projection | Qproj |
| Key block pooling | max + min + average |
| Q/K normalization | enabled |
| Gate RoPE | enabled |
| Training sequence length | 32,768 tokens |
| Training data | OpenR1-Math-220k |
得意なこと・想定用途
本モデルの基盤となっている元モデル（Qwen/Qwen3-4B）は、複雑な論理推論、数学、コーディングを行う「思考モード」と、効率的な汎用対話を行う「非思考モード」を1つのモデル内で切り替えられる特徴を持ちます。また、ツール呼び出しにおける高いエージェント能力や、100以上の言語・方言のサポート、ネイティブで32,768トークンのコンテキスト長対応（YaRNを用いた長文脈対応も可能）を備えています。
SASチェックポイントの導入により、SGLangベースのスパースアテンション環境において効率的なコンテキスト処理と推論が可能になります。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 4.0B(元モデル Qwen/Qwen3-4B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4070 / 3060 12GB など 12GB | BF16 | 7.5GB | 9.0GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。
公開元の配布は PyTorch (pth) のみです。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。
当サイトでの実測
当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込んで(モデルは動かさずに)確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。
ライセンスの都合で行っていない実測
このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。トークン数や GGUF ファイルの中身など、モデルを動かさずに確かめた値だけを載せています。
日本語のトークン効率
| トークナイザ | 日本語1,000字あたりのトークン数 | 同じ内容の英文との比 |
|---|---|---|
| このモデル | 688 | 1.26倍 |
| Qwen3 | 688 | 1.26倍 |
| Llama 3.2 | 744 | 1.36倍 |
| Gemma 3 | 564 | 1.03倍 |
| gpt-oss | 795 | 1.45倍 |
| LLM-jp-3 | 497 | 0.85倍 |
同じ日本語を表すのに要るトークン数は、Qwen3 のトークナイザとほぼ同じです。
Qwen/Qwen3-4B の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| LiquidAI/LFM2.5-350M-Diffusion-Exp | 425M | 4GB | lfm1.0 | 「LFM2.5-350M-Diffusion-Exp」ブロック拡散型の軽量言語モデル：必要VRAM 4GB〜(2026-10-03) |
| togethercomputer/Tev1-0.8B-experimental | 873M | 4GB | — | 「Tev1-0.8B-experimental」構造化データの選択肢選定に特化した意思決定モデル：必要VRAM 4GB〜(2026-09-25) |
| pfnet/plamo-3-610m-fin-instruct | 890M | 4GB | plamo-community-license | 「plamo-3-610m-fin-instruct」金融特化型の軽量日本語言語モデル：必要VRAM 4GB〜(2026-09-24) |
| harshatheg/Qwen-2.5-1B-RLCD | 1.5B | 4GB | apache-2.0 | 「Qwen-2.5-1B-RLCD」並列制約付きデコーディングのテキスト生成モデル：必要VRAM 4GB〜(2026-09-16) |
| openbmb/MiniCPM5-2B | 2.5B | 4GB | apache-2.0 | 「MiniCPM5-2B」コードや数学に強いオンデバイスモデル：当サイトでの回答例・必要VRAM 4GB〜(2026-09-07) |
入手方法
リポジトリのクローンと専用の環境構築を行った上で利用します。
git clone https://github.com/Tencent-Hunyuan/Simple-Attention-Sparsification.git
cd Simple-Attention-Sparsification
git submodule update --init --recursive
curl -fsSL https://pixi.sh/install.sh | bash
pixi install
cd third_party/sglang-blocksparse
pixi install
cd../..
推論にはsglang-blocksparseフォーク内のseer_attnバックエンドを利用します。
関連記事
次に読むなら
- GPUのVRAMから探す(このモデルは12GBの階層から動きます) → 12GBのGPUで動くほかのモデル
- 公開元について調べる → Tencent のモデル・ライセンス・記事のまとめ
- 同じ用途の他のモデルを探す → テキスト生成のモデル一覧
出典
更新履歴
- 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
- 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
- 2026-09-28: 当サイトでの実測(日本語のトークン効率)を追加しました。