C/C++ LLM推論ライブラリ「llama.cpp v0.5.0」リリース
C/C++ LLM推論ライブラリllama.cpp v0.5.0が公開。CUDAのconv2d加速やMetalでのMoE最適化、マルチアドレス対応サーバー機能の拡張などを詳しく解説。
機械学習ライブラリ「ggml v0.25.0」公開、FlashAttentionやMoEの最適化を拡充
C++製オープンソース機械学習ライブラリ「ggml v0.25.0」が公開されました。FlashAttentionやMoE、SSM、Hyper-connection処理の適用拡大とバックエンド最適化、GGUFアライメント変更などを解説 ...
UnslothがQwen-Image-2.1対応とAgent Skills機能を追加
ローカル向け学習・実行ツールUnslothがアップデートされ、Qwen-Image-2.1のサポートとAgent Skills機能が追加されました。推論速度の向上やLinux環境の改善についても解説します。
Hugging Face transformers、GGUFモデルの直接実行をサポート
Hugging Faceの推論ライブラリtransformersがllama.cppのGGUFフォーマットモデルの直接実行に対応。Apple Silicon向けの最適化やPythonエコシステムでの活用方法を解説。
LLM推論エンジン「vllm-project/vllm v0.30.0」公開 – Fast Start機能や新モデル対応
LLM推論・サービングエンジン「vllm-project/vllm v0.30.0」が公開されました。GPUメモリによる重みキャッシュ「Fast Start」機能の導入や、初期化・グラフキャプチャの高速化、最新モデルのサポート状況など ...
AIインターフェース「Open WebUI v0.11.4」公開、Dockerイメージが約175MBへ大幅軽量化
Open WebUI v0.11.4が公開されました。Dockerのslimイメージが約175MBへと約89%軽量化されたほか、破壊的変更やターミナル連携、パフォーマンス改善の詳細を解説します。
ComfyUI v0.37.0公開：高速ディスクの自動最適化とQwen・MoGe 3対応
ComfyUI v0.37.0が公開。–fast-diskの自動適用によるストレージ最適化や、Qwen系モデルのCUDA graphs・w4a8 GEMV対応、Qwen-image 2.1およびMoGe 3の新規サポート、 ...
Apple Silicon向けローカル推論エンジン「Splash Engine」公開、Qwen3.8を高速化
Inco AIがApple Silicon搭載Mac専用のオープンソースローカルLLM推論エンジン「Splash Engine」を公開。Qwen3.8-27BやQwen3.6-35B-A3Bに対応し、LM Studio Bionicに ...
大規模型サービングフレームワーク「SGLang v0.5.20」リリース
LLM・マルチモーダル向けサービングフレームワークSGLang v0.5.20が公開。Responses APIの変更やRLロールアウト向けサンプリングマスクのサポート、各種新モデルへの対応内容を解説。
Unsloth v0.1.811-beta公開、Docker・AMD・マルチユーザー対応
ローカルLLM学習ツール「Unsloth v0.1.811-beta」が公開。NVIDIA/AMD両対応Dockerイメージ、マルチユーザー機能、Qwen3.8-Flash-Next高速化などアップデート内容を解説。