推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
「K2-Horizon-32B-NVFP4」長文・推論対応モデル：当サイトでの回答例・必要VRAM 32GB〜
NVIDIA Blackwell世代向けに最適化された32Bのオープンウェイトモデル「IFM/K2-Horizon-32B-NVFP4」のスペックや推論性能、vLLM・SGLangでの利用方法を解説します。