エンジン・ツール

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。

軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。

ローカルLLM推論ライブラリ「ExLlamaV3 v1.4.9」が公開。CPUオフロードの高速化、Intel AVX512BWサポート強化、DeepSeekV4やGLM4等の新アーキテクチャ対応が行われています。

ComfyUI v0.35.0が公開。コンテナ環境のメモリ管理改善、Comfy Compilerの導入、WAN3-PrimeやMiniMax-H3などの新モデル対応、AMD GPUの最適化について解説します。

Unsloth v0.1.808-betaが公開。拡散モデルの高速化、AMD Strix HaloおよびApple Silicon（MLX）環境での最適化やメモリ削減などの主な変更点を解説します。

推論エンジンvLLM v0.29.0が公開。すべてのモデルでModel Runner V2がデフォルト化されたほか、起動コマンドの変更やモデル削除などの破壊的変更、新モデル対応を解説します。

Unsloth v0.1.807-betaがリリース。AMD環境でのVulkanデフォルト採用による推論高速化や、Apple SiliconでのMLX学習効率向上、パッケージ軽量化などの変更点を解説。

LLM推論ライブラリ「ExLlamaV3 1.4.8」がリリース。デフォルトのVRAM割り当て変更やFlash Attention 2コードパスの完全削除、特定モデルの量子化キャッシュ追加を解説。

画像生成エンジン「InvokeAI v6.14.1」がリリース。Krea-2 LoRAのサポート拡大や、FP8・Flux2利用時のVRAM/RAMメモリ管理の改善、依存パッケージの軽量化など、主な変更点を解説します。