AWQ形式とは:対応エンジンと入手できるモデルまとめ

2026年11月19日

AWQ とは

AWQ(Activation-aware Weight Quantization)は、MIT の研究チームが 2023年に発表した、LLM の重みを 4bit 程度まで小さくする量子化の手法です。Hugging Face では、この手法で量子化したモデルが名前に AWQ の付いたリポジトリ(中身は .safetensors)として配られています。

何がうれしいのか

  • 精度を落としにくい 4bit です。 重みの中でも、入力(活性化)の大きさから見て重要な一部のチャネルを見つけ、そこを守るように全体の縮め方を調整します。すべての重みを同じように丸めるより、性能の低下が小さくなることを論文は示しています。
  • GPU での推論が速いです。 重みだけを 4bit にする(W4A16)形式で、専用の計算カーネルが用意されています。
  • サーバー向けエンジンが標準で対応しています。 vLLM・SGLang で、元のモデルとほぼ同じ手順で読み込めます。

手元で動かすときのポイント

  • NVIDIA の GPU が前提です。 vLLM の対応表では、AWQ は Turing 世代(RTX 20 系)以降の GPU が対象です。CPU や Mac で動かすなら GGUF・MLX を選びます。
  • Ollama・LM Studio(llama.cpp 系)では読み込めません。
  • 複数人での同時利用や API サーバーに向いています。 1人で対話するだけなら、GGUF の方が選べる量子化の幅が広く、手軽です。
  • 量子化のツールとして使われてきた AutoAWQ は開発が止まっており、vLLM は後継のツール(LLM Compressor など)を案内しています。量子化済みのモデルを使うだけなら影響はありません。

出典: AWQ の論文(arXiv:2306.00978)、vLLM の量子化のドキュメント(いずれも 2026-09-27 時点)。

当サイトの記録とデータ

当サイトは、AWQ形式で入手できるモデルの記事を1本公開しています(記事のリポジトリ自体がAWQ形式のもの1本、そのモデルのAWQ版を確認したもの0本)。下の一覧は当サイトが確認した範囲(公開元の組織と、実績のある量子化の配布者)に限られます。一覧に無いモデルにもAWQ版が存在することがあります。モデル形式別まとめの1ページです。

対応する主なエンジン

エンジン 概要
vLLM PagedAttention による高スループットのLLM推論サーバー。複数リクエストの同時処理と量子化(AWQ / GPTQ / FP8)に対応し、サーバー用途のGPUで広く使われる。
SGLang RadixAttention によるプレフィックスキャッシュと構造化出力を特徴とするLLM推論サーバー。vLLMと並ぶサーバー用途の選択肢。

AWQ形式で入手できるモデル

→ 横にスクロールできます

公開日 モデル 入手先 量子化 最小のVRAM階層 記事
2026-11-18 sensenova/SenseNova-Loop-9B-AWQ このリポジトリ — — 「SenseNova-Loop-9B-AWQ」512Kコンテキストのマルチモーダルモデル:GGUF版あり

「最小のVRAM階層」は各記事の動作環境の表(変換版は、その変換版のファイル。画像・動画・音声のモデルは部品まで数えた記事の表)で最も小さい構成が収まる階層です。コンテキスト長に応じた余裕を見込んでください。

最終更新 2026-11-18(JST)。ページ前半の解説は、出典に挙げた一次資料をもとに AI を用いて執筆したものです。「当サイトの記録とデータ」以降の表は、記事ログからコードが組み立てています。