推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル：必要メモリ約998GB
DeepSeekがエージェント性能を強化した大規模MoEモデル「DeepSeek-V4-Pro-0813」をHugging Faceで公開。100万トークンの文脈とDSparkモジュールを搭載。
大規模型サービングフレームワーク「SGLang v0.5.20」リリース
LLM・マルチモーダル向けサービングフレームワークSGLang v0.5.20が公開。Responses APIの変更やRLロールアウト向けサンプリングマスクのサポート、各種新モデルへの対応内容を解説。
ExLlamaV3 v1.4.9リリース：CPUオフロード高速化と新モデル対応
ローカルLLM推論ライブラリ「ExLlamaV3 v1.4.9」が公開。CPUオフロードの高速化、Intel AVX512BWサポート強化、DeepSeekV4やGLM4等の新アーキテクチャ対応が行われています。
DeepSeek V4.1 Flash発表：V4 Proを上回る性能と安価な新モデル
DeepSeekが次世代モデル「V4.1 Flash」を発表。V4 Proを上回る性能と低価格化を実現した話題のオープンウェイトモデルの機能やコミュニティでの議論を解説します。