AWQ形式とは:対応エンジンと入手できるモデルまとめ
AWQ とは
AWQ(Activation-aware Weight Quantization)は、MIT の研究チームが 2023年に発表した、LLM の重みを 4bit 程度まで小さくする量子化の手法です。Hugging Face では、この手法で量子化したモデルが名前に AWQ の付いたリポジトリ(中身は .safetensors)として配られています。
何がうれしいのか
- 精度を落としにくい 4bit です。 重みの中でも、入力(活性化)の大きさから見て重要な一部のチャネルを見つけ、そこを守るように全体の縮め方を調整します。すべての重みを同じように丸めるより、性能の低下が小さくなることを論文は示しています。
- GPU での推論が速いです。 重みだけを 4bit にする(W4A16)形式で、専用の計算カーネルが用意されています。
- サーバー向けエンジンが標準で対応しています。 vLLM・SGLang で、元のモデルとほぼ同じ手順で読み込めます。
手元で動かすときのポイント
- NVIDIA の GPU が前提です。 vLLM の対応表では、AWQ は Turing 世代(RTX 20 系)以降の GPU が対象です。CPU や Mac で動かすなら GGUF・MLX を選びます。
- Ollama・LM Studio(llama.cpp 系)では読み込めません。
- 複数人での同時利用や API サーバーに向いています。 1人で対話するだけなら、GGUF の方が選べる量子化の幅が広く、手軽です。
- 量子化のツールとして使われてきた AutoAWQ は開発が止まっており、vLLM は後継のツール(LLM Compressor など)を案内しています。量子化済みのモデルを使うだけなら影響はありません。
出典: AWQ の論文(arXiv:2306.00978)、vLLM の量子化のドキュメント(いずれも 2026-09-27 時点)。
当サイトの記録とデータ
当サイトは、AWQ形式で入手できるモデルの記事を1本公開しています(記事のリポジトリ自体がAWQ形式のもの1本、そのモデルのAWQ版を確認したもの0本)。下の一覧は当サイトが確認した範囲(公開元の組織と、実績のある量子化の配布者)に限られます。一覧に無いモデルにもAWQ版が存在することがあります。モデル形式別まとめの1ページです。
対応する主なエンジン
| エンジン | 概要 |
|---|---|
| vLLM | PagedAttention による高スループットのLLM推論サーバー。複数リクエストの同時処理と量子化(AWQ / GPTQ / FP8)に対応し、サーバー用途のGPUで広く使われる。 |
| SGLang | RadixAttention によるプレフィックスキャッシュと構造化出力を特徴とするLLM推論サーバー。vLLMと並ぶサーバー用途の選択肢。 |
AWQ形式で入手できるモデル
→ 横にスクロールできます
| 公開日 | モデル | 入手先 | 量子化 | 最小のVRAM階層 | 記事 |
|---|---|---|---|---|---|
| 2026-11-18 | sensenova/SenseNova-Loop-9B-AWQ | このリポジトリ | — | — | 「SenseNova-Loop-9B-AWQ」512Kコンテキストのマルチモーダルモデル:GGUF版あり |
「最小のVRAM階層」は各記事の動作環境の表(変換版は、その変換版のファイル。画像・動画・音声のモデルは部品まで数えた記事の表)で最も小さい構成が収まる階層です。コンテキスト長に応じた余裕を見込んでください。
最終更新 2026-11-18(JST)。ページ前半の解説は、出典に挙げた一次資料をもとに AI を用いて執筆したものです。「当サイトの記録とデータ」以降の表は、記事ログからコードが組み立てています。