turboderp-org/exllamav3 v1.6.0リリース:ローカルLLM推論エンジンの最新版

turboderp-org/exllamav3 v1.6.0リリース:ローカルLLM推論エンジンの最新版

基本情報

項目 内容
リポジトリ turboderp-org/exllamav3
版 v1.6.0
公開日 2026-10-08
ライセンス MIT
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリース情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

turboderp-org/exllamav3のバージョン1.6.0が、2026年10月7日付でGitHub上にリリースされました。exllamav3は、最新世代のコンシューマー向けGPU上でLLMをローカル実行するために最適化された量子化・推論ライブラリで、Pythonで実装され、MITライセンスで公開されています。exl2形式に続く独自の量子化方式とカーネルを備え、手元のGPUで大規模言語モデルを効率よく動かしたい技術者に使われているプロジェクトです。

今回のリリースについては、GitHub上にv1.6.0のタグとリリースページが作成されているものの、リリースノート本文は現時点で記載されておらず、資料からは具体的な変更内容を確認できません。したがって、本バージョンで「何が変わったか」「上げるべきか」を断定することはできず、未確認の状態です。既存ユーザーは、アップデート前にリリースページや直近のコミット履歴を自身で確認することをおすすめします。

主な変更点

本リリースについて提供された資料には、リリースノートの本文や個別の変更項目(新機能・性能改善・バグ修正)に関する記述が含まれていません。そのため、どの機能が追加されたか、どのモデルやハードウェアに影響するかといった具体的な内容は、現時点では確認できていません。

exllamav3は量子化・推論の中核ライブラリであるため、バージョン更新がカーネルの挙動や量子化処理に影響する可能性は一般論としてありますが、v1.6.0固有の変更点として資料に明記されたものは無く、本記事では推測による記載は行いません。具体的な変更内容を知りたい場合は、下記のリリースページ、またはリポジトリのコミット履歴・issueトラッカーを直接確認してください。

アップデート方法

exllamav3の導入にあたっては、事前にご自身の環境に合わせたCUDA対応のPyTorch(CUDA 12.4以降)をインストールしておく必要があります。Torchの依存関係はpipによって自動で処理されない仕様となっているため、環境構築時の注意が必要です。

代表的なインストール手順として、PyPI経由で導入する方法と、ソースから直接導入する方法があります。

PyPIからのインストール

PyPIに公開されているパッケージをインストールする場合は、以下のコマンドを実行します。

pip install exllamav3

なお、PyPIパッケージには事前ビルド済みのバイナリ拡張が含まれていません。そのため、ビルドに必要なCUDAツールキットおよび各種ツール(Linux環境ではgccやpython-devヘッダー、Windows環境ではVisual Studio Build Toolsなど)があらかじめ導入されている必要があります。

CUDA対応PyTorchの導入と手動インストール

環境に合わせたCUDA版PyTorchを導入した上でソースからインストールする場合は、以下のようにwheelのインデックスを指定してPyTorchを導入し、パッケージをインストールします。

pip install torch --index-url https://download.pytorch.org/whl/cu128
pip install.

ビルド環境変数の設定

C++/CUDA拡張のビルド時には、環境に応じて以下の環境変数を設定できます。

  • MAX_JOBS: ninjaによる並列ビルドプロセスの多重起動でシステムのメモリが不足する場合に、並列数を4などの適切な値に制限するために指定します。
  • EXLLAMA_NOCOMPILE: C++/CUDA拡張のコンパイルを事前に行わずにライブラリをインストールする場合に設定します。この場合、PyTorchが実行時に拡張をビルドして読み込みます。

インストール完了後は、メインリポジトリのディレクトリからモデル変換スクリプトなどを実行できます。

python convert.py -i...

前回の記事からの更新履歴

当サイトがGitHubのリリース一覧から機械的にまとめた、この版と前回取り上げた版の間に出た版です(単独記事にはしていません)。 全ての版はエンジン別ページにあります。

版 公開日 リリースノート
v1.5.4 2026-10-04 GitHub
v1.5.3 2026-09-28 GitHub
v1.5.2 2026-09-26 GitHub
v1.5.1 2026-09-21 GitHub

関連記事

次に読むなら

出典