「Qwen3-Coder-30B-A3B-Instruct-GGUF」テキスト生成モデル:必要VRAM 24GB〜

「Qwen3-Coder-30B-A3B-Instruct-GGUF」テキスト生成モデル:必要VRAM 24GB〜

基本情報

項目 内容
リポジトリ ggml-org/Qwen3-Coder-30B-A3B-Instruct-GGUF
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-10-22
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

オープンウェイトの大規模言語モデルを多数手掛けるQwenチームのコーディング特化モデル「Qwen3-Coder-30B-A3B-Instruct」をベースとしたGGUF形式の量子化モデル「ggml-org/Qwen3-Coder-30B-A3B-Instruct-GGUF」が、ggml-orgより公開されました。

元モデルであるQwen3-Coder-30B-A3B-Instructは、総パラメータ数30.5B(約305億)に対して推論時に活性化するパラメータ数を3.3B(約33億)に抑えた、高効率なMixture of Experts(MoE)アーキテクチャを採用しています。エージェント的なコーディング支援やツール呼び出し、長大なコンテキストの処理を念頭に設計されており、高い実行性能とリソース効率の両立が図られています。

今回公開されたGGUF版は、ggml-orgが提供する変換ツールを用いて自動変換されたものです。llama.cppをはじめとするローカル推論環境において、手軽に高速な推論を実行できるモデルファイルとして提供されています。

スペック

公開元および元モデルのモデルカードに記載されているスペックは以下の通りです。

  • パラメータ数: 総パラメータ数 30.5B(活性パラメータ数 3.3B)
  • アーキテクチャ: Mixture of Experts(Qwen3MoeForCausalLM / qwen3_moe)
  • レイヤー数: 48
  • アテンション機構: Grouped-Query Attention(GQA、Queryヘッド数 32 / Key-Valueヘッド数 4)
  • エキスパート数: 総エキスパート数 128(トークンあたりの活性エキスパート数 8)
  • コンテキスト長: ネイティブで262,144トークン(元モデルのハイライト記述では256Kトークン、Yarnを用いることで最大1Mトークンまで拡張可能)
  • 学習ステージ: 事前学習(Pretraining)および事後学習(Post-training)
  • 動作モード: non-thinking modeのみをサポート(出力時に思考ブロックを生成せず、推論時のenable_thinking=False指定も不要)
  • 推奨出力長: 65,536トークン

また、本GGUFリポジトリでは以下の量子化タイプが用意されています。

  • BF16
  • Q8_0
  • Q4_K_M

量子化の実装仕様として、Q8_0およびQ4_K_Mでは、ルーティング対象となるエキスパート層にそれぞれのベース量子化タイプが適用されています。さらにQ4_K_Mにおいては、埋め込み層(embeddings)やアテンション層(attention)といったエキスパート以外の小さなテンソルをQ8_0精度で保持するハイブリッドな構成が採用されており、量子化に伴う精度の劣化を抑える工夫が施されています。

性能

本モデルはggml-orgによるGGUF変換版であるため、性能に関する評価は元モデルであるQwenチームの「Qwen/Qwen3-Coder-30B-A3B-Instruct」に準拠します。

元モデルのモデルカードにおいて、詳細なベンチマークテストのスコア表そのものは掲載されていませんが、公開元による定性的な性能評価が明記されています。公開元の説明によると、本モデルはオープンモデルの中で「エージェント的コーディング(Agentic Coding)」、「エージェントによるブラウザ操作(Agentic Browser-Use)」、および「その他の基礎的なコーディングタスク全般」において、顕著に優れた性能を発揮するとされています。

特にツール呼び出し(Function Calling)能力が強化されており、Qwen CodeやCLINEをはじめとする主要なコーディング支援プラットフォームに対応した専用の関数呼び出しフォーマットが設計されています。加えて、ネイティブで262,144トークン、拡張により最大1Mトークンに達する超長文コンテキスト処理能力を備えているため、リポジトリ全体にわたる大規模なコード構造の理解や編集作業において高い実用性を持つと説明されています。

なお、これらの性能評価はモデルの公開元が自ら公表した定性的な言及であり、第三者機関や標準ベンチマークによる詳細な比較数値ではありません。また、元のBF16からQ8_0やQ4_K_Mへと量子化を行う過程において、演算精度の低下に伴い元のモデルと比べて出力品質や挙動にわずかな劣化が生じる可能性がある点には留意が必要です。

得意なこと・想定用途

本モデルは、コーディングプロセスの自動化や大規模な開発プロジェクトの解析・編集に特化して設計されたモデルです。量子化元の「Qwen3-Coder-30B-A3B-Instruct」が持つ優れた機能をそのまま引き継いでいます。

主な得意分野や想定用途は以下の通りです。

  • エージェント的コーディング(Agentic Coding): Qwen CodeやCLINEといった主要な自動開発ツールやエージェント環境に対応しています。専用の関数呼び出し(Function Calling)フォーマットが設計されているため、定義したツールを正確に呼び出し、数値計算や外部APIの操作などを自動化するシステムに組み込みやすくなっています。OpenAI API互換のエンドポイント(http://localhost:8000/v1 など)を介したツール定義および呼び出しにも適しています。
  • 超長文コンテキストを活用したリポジトリ理解: ネイティブで262,144トークン、Yarnを利用することで最大1M(約100万)トークンまでの長文コンテキスト処理をサポートしています。これにより、単一のファイル処理にとどまらず、リポジトリ全体のソースコード群や膨大なドキュメントをまとめてコンテキストに投入し、プロジェクト全体を網羅したコード生成やバグ解析、リファクタリングを実施できます。
  • エージェントによるブラウザ操作および各種開発タスク: Agentic Browser-Useをはじめ、ソフトウェア開発で発生する多様な基礎的プログラミングタスクに対応します。

なお、本モデルは思考プロセスを出力する思考ブロックを伴わない「non-thinking mode」のみをサポートしています。そのため、推論実行時に enable_thinking=False と明示的に指定する必要はなく、ストレートに回答を得られる仕様となっています。

モデルの性能を最適に引き出すためのサンプリングパラメータとして、開発元からは以下の設定が推奨されています。

  • temperature: 0.7
  • top_p: 0.8
  • top_k: 20
  • repetition_penalty: 1.05

また、十分な応答長を確保するため、一般的なクエリに対しては出力最大長(max_new_tokens)を65,536トークンに設定することが推奨されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 30.5B(元モデル Qwen/Qwen3-Coder-30B-A3B-Instruct の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB Q4_K_M 16.8GB 20.1GB
RTX 6000 Ada / A6000 など 48GB Q8_0 30.3GB 36.3GB
A100 / H100 80GB クラス BF16 56.9GB 68.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 4.73 bit/weight で、元の16bitの重みの約30%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/LFM2.5-24B-A2B-Base 24.0B 80GB lfm1.0 LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-FP8 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-FP8」FP8量子化済みのエージェント向けMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-bf16 24.0B 80GB lfm1.0 「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-8bit 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-MLX-8bit」ツール呼び出しに強い推論特化のMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B 24.0B 12GB lfm1.0 「LFM2.5-24B-A2B」エージェント特化のMoE推論モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17)

入手方法

本モデルは、Hugging Faceの ggml-org/Qwen3-Coder-30B-A3B-Instruct-GGUF リポジトリから入手できます。ライセンスにはApache License 2.0(apache-2.0)が適用されており、ライセンス規約への個別の同意手続きを行うことなく、自由にダウンロードして利用することが可能です。

配布形式はGGUFフォーマットとなっており、以下の量子化精度が提供されています。

  • BF16
  • Q8_0
  • Q4_K_M

これらのうち Q4_K_M や Q8_0 では、ルーティングされるエキスパート層に対して各量子化が適用され、さらに Q4_K_M では埋め込み層やアテンション層などの非エキスパート層が Q8_0 精度に維持されています。これにより、精度低下を抑えつつローカル環境で効率的に運用できるよう工夫されています。

本モデルは、llama.cppをはじめ、Ollama、LM Studio、MLX-LM、KTransformersなどのGGUFに対応した主要な推論エンジンやアプリケーションで利用可能です。

例えば、llama.app環境を利用する場合は、以下のコマンドを実行することで、Hugging Faceからモデルを直接読み込んでサーバーを立ち上げることができます。

llama serve -hf ggml-org/Qwen3-Coder-30B-A3B-Instruct-GGUF

なお、元モデルのPythonコードや transformers ライブラリ等を利用して直接推論を行う場合は、transformers<4.51.0 の旧バージョンでは KeyError: 'qwen3_moe' が発生するため、最新の transformers ライブラリを利用することが推奨されています。また、ローカル推論時にメモリ不足が発生した場合は、コンテキスト長を 32,768 トークンなどの短い値に削減することが対処方法として案内されています。

関連記事

次に読むなら

出典