llama.cpp・vLLM・MLX などの推論エンジン、量子化・ファインチューニングのツールの更新情報。導入手順や対応ハードウェアの変化を追います。

エンジン・ツール

大規模型サービングフレームワーク「SGLang v0.5.20」リリース

LLM・マルチモーダル向けサービングフレームワークSGLang v0.5.20が公開。Responses APIの変更やRLロールアウト向けサンプリングマスクのサポート、各種新モデルへの対応内容を解説。

エンジン・ツール

Unsloth v0.1.811-beta公開、Docker・AMD・マルチユーザー対応

ローカルLLM学習ツール「Unsloth v0.1.811-beta」が公開。NVIDIA/AMD両対応Dockerイメージ、マルチユーザー機能、Qwen3.8-Flash-Next高速化などアップデート内容を解説。

エンジン・ツール

ローカルAI実行エンジン「LocalAI v4.10.0」公開、ダッシュボード刷新

オープンソースのローカルAI実行エンジン「LocalAI v4.10.0」が公開。フリート運用ダッシュボードやCLIベンチマーク機能の追加、Apple M5の起動修正などを解説します。

エンジン・ツール

「unsloth」v0.1.810-beta公開:マルチユーザー対応とDocker刷新

オープンソースのLLM実行・微調整ツール「unsloth」の最新版v0.1.810-betaが公開。マルチユーザーアカウント機能の追加やDockerイメージの刷新、ハードウェア対応の拡大について解説します。

エンジン・ツール

ComfyUI v0.36.0公開:汎用ループやYue2・Marigold v2に対応

ComfyUI v0.36.0がリリース。汎用ループ(Generic Loops)の実装をはじめ、音楽生成モデル「Yue2」や深度推定「Marigold v2」のサポート、LlamaベースモデルのRoPE処理高速化などの変更点を解説し ...

エンジン・ツール

llamafile 0.10.6公開、llama.cpp更新とCUDA/HIPのグラフ機能強化

単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。

エンジン・ツール

koboldcpp v1.121公開:Minimax H3メディアリファレンスやSDUIのLoRAセレクターに対応

GGUF実行ツール「koboldcpp v1.121」が公開されました。Minimax H3のメディアリファレンス対応やSDUIへのランタイムLoRAセレクター追加、MusicUIの刷新など、マルチメディア生成とUI機能が大幅に強化さ ...

エンジン・ツール

ggml v0.24.0リリース:精度制御APIの追加とバックエンド強化

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

エンジン・ツール

SGLang v0.5.19リリース:Qwen3.8や新規拡散モデルに対応

SGLang v0.5.19がリリース。Qwen3.8や各種拡散モデルへの対応、ビームサーチ機能の追加、DeepEP v2の導入、AMD GPU向け最適化などのアップデート内容を解説します。