GGUF形式とは:対応エンジンと入手できるモデルまとめ

2026年9月27日2026年10月30日

GGUF とは

GGUF は、C/C++ の推論エンジン llama.cpp とその土台のライブラリ ggml のために作られた、モデルの配布形式です。重み(テンソル)と、モデルの構造・トークナイザー・チャットの書式などの情報(メタデータ)を1つのファイルにまとめて持ちます。ファイルを1つ落とせばそのまま動かせるので、ローカルLLMでは最もよく使われる形式になっています。

何がうれしいのか

• 量子化の選択肢が細かくそろっています。 同じモデルに Q8_0・Q6_K・Q5_K_M・Q4_K_M・Q3_K_M・IQ2_XXS のような精度違いのファイルが並び、手元の GPU のメモリに合わせて選べます。名前の読み方は量子化・モデル形式の用語集にまとめています。
• GPU が無くても動きます。 CPU だけでも、NVIDIA(CUDA)・AMD(ROCm / Vulkan)・Apple Silicon(Metal)の GPU でも動き、GPU に載りきらない層を CPU に回す(部分オフロード)こともできます。
• 対応するアプリが多いです。 Ollama・LM Studio・KoboldCpp・Jan などの多くは内部で llama.cpp を使っており、GGUF をそのまま読み込めます。

手元で動かすときのポイント

• 迷ったら Q4_K_M から試すのが定番です。 精度の落ち方とファイルの小ささの釣り合いがよく、多くの量子化の配布者が推奨の目安に挙げています。メモリに余裕があれば Q5_K_M・Q6_K へ上げます。
• ファイルの大きさ＋コンテキストの分がメモリに要ります。 会話が長くなるほど KV キャッシュが増えるので、ファイルサイズぎりぎりの GPU では足りません。当サイトの記事の「動作環境」の表は、配布ファイルの実サイズから必要メモリを算出しています。
• 画像を扱うモデルは mmproj ファイルが別に要ります。 視覚エンコーダの部分は本体とは別の GGUF で配られることが多いので、一緒に落とします。
• 公式の GGUF が無いモデルも多いです。 その場合は bartowski・unsloth など量子化の配布者が作った版を使います。下の一覧では、記事のリポジトリ自体が GGUF のものと、変換版を確認したものを分けて載せています。

出典: GGUF の仕様(ggml-org/ggml の docs/gguf.md)、Hugging Face Hub の GGUF の説明、llama.cpp の README(いずれも 2026-09-27 時点)。

当サイトの記録とデータ

当サイトは、GGUF形式で入手できるモデルの記事を31本公開しています(記事のリポジトリ自体がGGUF形式のもの13本、そのモデルのGGUF版を確認したもの18本)。下の一覧は当サイトが確認した範囲(公開元の組織と、実績のある量子化の配布者)に限られます。一覧に無いモデルにもGGUF版が存在することがあります。モデル形式別まとめの1ページです。

対応する主なエンジン

GGUF形式で入手できるモデル

「最小のVRAM階層」は各記事の動作環境の表(変換版は、その変換版のファイル。画像・動画・音声のモデルは部品まで数えた記事の表)で最も小さい構成が収まる階層です。コンテキスト長に応じた余裕を見込んでください。

最終更新 2026-10-05(JST)。ページ前半の解説は、出典に挙げた一次資料をもとに AI を用いて執筆したものです。「当サイトの記録とデータ」以降の表は、記事ログからコードが組み立てています。