ExLlamaV3 v1.4.9リリース：CPUオフロード高速化と新モデル対応

2026年9月10日2026年10月31日

Contents

1. 基本情報
2. 概要
3. 破壊的変更・非推奨
4. 主な変更点
5. 対応モデル・ハードウェア
6. アップデート方法
7. 関連記事
8. 次に読むなら
9. 出典
10. 更新履歴

基本情報

項目	内容
リポジトリ	turboderp-org/exllamav3
版	v1.4.9
公開日	2026-09-10
ライセンス	MIT
出典の種類	公開元の一次情報(GitHub公式リリースノート)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ExLlamaV3の最新バージョンであるv1.4.9がリリースされました。ExLlamaV3は、最新のコンシューマー向けGPU上でLLMをローカル実行するための、最適化された量子化および推論ライブラリです。

今回のアップデートでは、CPUオフロードの高速化とIntel CPU（AVX512BWティア）へのサポート強化が図られており、大規模なモデルをメモリ制限のある環境で動かす際のパフォーマンスが大幅に改善されています。

破壊的変更・非推奨

次回のリリース以降、PyTorch 2.7のサポートが終了（retired）することが予告されています。

項目	変更内容
PyTorch 2.7	次回リリース以降、サポート終了 (retired)

現在PyTorch 2.7に依存している環境を利用しているユーザーは、次回のアップデート時に動作しなくなる可能性があるため、現在のうちにPyTorch 2.12または2.13への移行準備を進めておくことが推奨されます。

主な変更点

新しいモデルアーキテクチャへの対応

以下のモデルアーキテクチャが新たに追加されました。
– DeepseekV4ForCausalLM (DeepseekV4-Flash-Vision-Expをサポート)
– Lfm2ForCausalLM (LFM2.5 dense variant)
– Spark2_5ForCausalLM (Spark-X2.5)
– Glm4MoeLiteForCausalLM (GLM4.7-Flash)

これらの新しいアーキテクチャを持つモデルを利用したい技術者は、本バージョンへアップデートすることでExLlamaV3を通じた推論が可能になります。

CPUオフロードの高速化とIntel最適化

CPUへのオフロード速度が向上し、Intel CPUにおけるサポート（AVX512BWティア）が強化されました。

大規模なモデルをGPUメモリに収めきれず、CPUへ一部をオフロードして実行しているユーザーや、AVX512BW命令セットをサポートするIntel環境のユーザーにとって、推論速度の向上が期待できます。特に、VRAM容量が限られたシングルGPU環境での大規模モデル運用において恩恵があります。

VRAMリークおよびタイムアウト問題の修正

Vision towerのオフロード後に発生していたVRAMリークの問題、および大規模なモデルをCPUへオフロードする際にワーカーがタイムアウトする可能性があった問題が修正されました。

Vision（視覚）機能を持つモデルを使用しているユーザーや、GPUメモリに収まりきらない巨大なモデルをCPUオフロード併用で動かしているユーザーは、メモリ管理の安定性と動作の信頼性が向上します。

インポート時間の劇的な短縮

flash-linear-attention のサブセットをベンダー化（ライブラリ内に組み込み）することで、ライブラリのインポート時間が大幅に削減されました。これにより、transformers や flash-linear-attention 全体を初期化する必要がなくなり、起動プロセスが効率化されています。

モデルのロードを開始するまでの待ち時間を減らしたいすべてのユーザーに影響があります。特に、頻繁にスクリプトを実行したり、複数のモデルを切り替えて使用したりする開発環境において、起動のレスポンスが改善されます。

Autosplit計算の精度向上

モデルの分割配置を行う際の autosplit 計算の精度が向上しました。

複数のGPUを使用している場合や、GPUとCPUにモデルをまたいで配置する場合に、より正確なメモリ割り当てが行われるようになります。これにより、メモリ不足によるエラーを回避しやすくなり、限られたハードウェアリソースをより最適に活用した推論が可能になります。

対応モデル・ハードウェア

Intel CPUにおけるAVX512BW命令セットへのサポートが強化されました。これにより、AVX512BWティアをサポートするIntel環境でのCPUオフロード性能が向上しています。

アップデート方法

ExLlamaV3のインストールを行う前に、適切なバージョンのPyTorch（CUDA 12.4以降）がインストールされていることを確認してください。PyTorchの依存関係は pip によって自動的に処理されないため、事前の準備が必要です。

主なインストール方法は以下の通りです。

PyPIからのインストール

pip install exllamav3

注意点として、PyPIパッケージにはビルド済みの拡張機能が含まれていません。そのため、CUDA toolkitおよびビルド用の前提条件（WindowsではVS Build Tools、Linuxではgcc、python-dev ヘッダーなど）がシステムにインストールされている必要があります。

特定のCUDA環境に合わせたインストール

環境に合わせたCUDA対応のtorchを先にインストールしてから、カレントディレクトリからインストールする方法です。

pip install torch --index-url https://download.pytorch.org/whl/cu128
pip install.

ビルド環境変数の設定

コンパイル時やインストール時に以下の環境変数を設定することで、動作を制御できます。

MAX_JOBS: デフォルトではビルドツールのninjaが多くのプロセスを並列で起動しようとしてシステムメモリを使い果たす可能性があるため、メモリ不足が発生する場合は 4 などの適切な値に設定してください。
EXLLAMA_NOCOMPILE: C++/CUDA拡張機能をコンパイルせずにインストールする場合に設定します。この設定を使用すると、Torchが実行時にビルドおよびロードを行います。

次に読むなら

このツールの更新を追う → ExLlamaV3 の概要とリリース履歴(記録済み70版)
同じ分類(量子化・モデル形式・ファインチューニング)の他のツール → ggml / Unsloth

出典

https://github.com/turboderp-org/exllamav3/releases/tag/v1.4.9

更新履歴

2026-09-19: 下書きに戻していた記事を、材料を集め直して書き直し、公開に戻しました。

エンジン・ツールCPUオフロード,DeepSeek,exllamav3,GLM,LLM,確認済み,量子化