推論エンジン「Magnitude CLI 0.2.4」公開、メモリ削減と初回ロード高速化を実現
エージェント向け推論エンジン「Magnitude CLI 0.2.4」がリリース。メモリ使用量の大幅な削減と、最大約1分への初回カーネルチューニング時間短縮が行われました。
高速推論エンジン「SGLang v0.5.21」公開、PDインスタンスの動的切り替えに対応
LLM・マルチモーダルモデル向け高速サービングフレームワーク「SGLang」のv0.5.21がリリース。PDインスタンスの動的ロール切り替えやRustコア化、新APIの追加などの詳細を解説。
LLM推論エンジン「vllm-project/vllm v0.30.0」公開 – Fast Start機能や新モデル対応
LLM推論・サービングエンジン「vllm-project/vllm v0.30.0」が公開されました。GPUメモリによる重みキャッシュ「Fast Start」機能の導入や、初期化・グラフキャプチャの高速化、最新モデルのサポート状況など ...
llama.cpp v0.4.1公開：ロード方式の変更と新モデルサポート
llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。