exllamav3 v1.4.7リリース：CPU MoE性能改善とDRYサンプラー追加

2026年9月6日2026年10月31日

基本情報

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

exllamav3 は、最新のコンシューマー向け GPU を活用して、ローカル環境で大規模言語モデル (LLM) を効率的に実行するための、最適化された量子化および推論ライブラリです。Python で実装されており、MIT ライセンスの下で公開されています。GitHub 上では 1,455 Star を獲得しており、ローカル LLM ユーザーの間で広く利用されているプロジェクトです。

今回の v1.4.7 リリースにおける最も重要な変更点は、すべてのティアにおける CPU MoE (Mixture of Experts) のパフォーマンス改善です。MoE アーキテクチャを採用したモデルを、GPU の VRAM 容量不足などの理由から CPU で動作させているユーザーにとって、推論効率が向上する極めて重要なアップデートとなっています。

主な変更点

CPU MoE のパフォーマンス向上

すべてのティアにおいて、CPU 上での MoE (Mixture of Experts) モデルの実行パフォーマンスが改善されました。 この変更は、GPU のメモリ容量が不足しており、MoE モデルの一部または全部を CPU で処理する必要があるユーザーに影響します。MoE モデルは、推論時に特定の「エキスパート」のみをアクティブにする仕組みを持っていますが、この処理が CPU 上でより効率的に行われるようになります。

DRY サンプラーの追加

新しいサンプリング手法として、DRY サンプラーが新たに追加されました。 これは、LLM によるテキスト生成時のサンプリング設定をカスタマイズしたいユーザーに影響します。サンプラーの選択肢が増えることで、生成されるテキストの品質向上や、出力の制御性を高めるための新しい手段が提供されます。

Trellis 量子化の高速化

6、7、および 8 ビットの Trellis 形式における量子化プロセスが高速化されました。 モデルの量子化作業をローカル環境で行っているユーザー、特にこれらの特定のビット数を用いた Trellis 形式のモデルを扱うユーザーに恩恵があります。量子化にかかる時間が短縮されることで、モデルの準備や試行錯誤のサイクルを早めることが可能です。

再帰的なスロットリークの修正

recurrent slot leaks に関するバグが修正されました。 これは、モデルの実行中にリソースが適切に管理されず、メモリリークなどの問題を引き起こしていた可能性のある不具合です。長時間の推論プロセスを実行したり、継続的にモデルを稼働させたりする環境において、システムの安定性が向上します。

対応モデル・ハードウェア

今回のアップデートにより、以下のモデルおよびハードウェア環境における利用体験が向上しています。

MoE (Mixture of Experts) モデル すべてのティアにおいて、CPU 上での MoE モデルのパフォーマンスが改善されました。これにより、GPU の VRAM 容量が不足しているために、一部またはすべての処理を CPU で行う必要があるユーザーにとって、より効率的な推論が可能になります。

Trellis 量子化モデル Trellis 形式の量子化において、6ビット、7ビット、および8ビットの各ビット数におけるプロセスが高速化されました。これらの特定のビット数を用いてモデルの量子化を行うユーザーは、作業時間の短縮が期待できます。

ハードウェアおよびソフトウェア要件 本ライブラリは、最新のコンシューマー向け GPU を使用して LLM を実行するために最適化されています。また、動作には CUDA 12.4 以降に対応した PyTorch が必要です。

アップデート方法

exllamav3 をインストールまたはアップデートする際は、まず適切なバージョンの PyTorch (CUDA 12.4 以降) がインストールされていることを確認してください。Torch への依存関係は pip によって自動的に処理されないため、事前の準備が重要です。

PyPI からのインストール

最も簡便な方法は、PyPI を利用したインストールです。

pip install exllamav3

ただし、PyPI からのインストールを行う場合、パッケージにはビルド済みの拡張機能が含まれていません。そのため、システムに CUDA toolkit および以下のビルド用プリリクエストが揃っている必要があります。

• Windows の場合: VS Build Tools
• Linux の場合: gcc、python-dev ヘッダーなど

ソースからのインストール

自身の環境に合わせた CUDA 対応の torch を先にインストールしてから、ソースからインストールする方法もあります。例えば、CUDA 12.8 を使用する環境では以下の手順で行います。

pip install torch --index-url https://download.pytorch.org/whl/cu128
pip install.

ビルド時の環境変数

コンパイル時の動作を制御するために、以下の環境変数が利用可能です。

• MAX_JOBS: デフォルトでは ninja が多くのプロセスを起動し、システムメモリを使い果たす可能性があります。その場合は、この変数に 4 などの適切な値を設定してください。
• EXLLAMA_NOCOMPILE: この変数を設定すると、C++/CUDA 拡張機能をコンパイルせずにライブラリをインストールできます。この場合、Torch が実行時にビルドおよびロードを行います。

前回の記事からの更新履歴

当サイトがGitHubのリリース一覧から機械的にまとめた、この版と前回取り上げた版の間に出た版です(単独記事にはしていません)。 全ての版はエンジン別ページにあります。

関連記事

• ExLlamaV3 1.5.0リリース：MoEモデル推論の高速化と新機能
• ExLlamaV3 v1.4.9リリース：CPUオフロード高速化と新モデル対応
• ExLlamaV3 1.4.8リリース：VRAM最適化とFA-2コードパスの削除

次に読むなら

• このツールの更新を追う → ExLlamaV3 の概要とリリース履歴(記録済み70版)
• 同じ分類(量子化・モデル形式・ファインチューニング)の他のツール → ggml / Unsloth

出典

• https://github.com/turboderp-org/exllamav3/releases/tag/v1.4.7
• https://github.com/turboderp-org/exllamav3/compare/v1.4.6…v1.4.7

更新履歴

• 2026-09-19: 下書きに戻していた記事を、材料を集め直して書き直し、公開に戻しました。