推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
「Qwen3.8-Flash-Next」マルチモーダル対応のMoEモデル：必要メモリ約402GB
Qwenチームによる次世代アーキテクチャ採用のマルチモーダル対応オープンウェイトモデル「Qwen3.8-Flash-Next」のスペックや導入方法を解説します。
意思決定特化型モデル「OpenJev」のテスト用GGUFモデル公開
ggml-orgが公開した意思決定特化型オープンウェイトモデル「OpenJev」のテスト用GGUFモデル「tinyopenjev-for-testing-gguf」の仕様や、元モデルの推論環境構築手順を解説します。
「OrcaSAQ-2-27B」テキスト生成モデル：当サイトでの回答例・必要VRAM 16GB〜
OrcaRouterが公開したQwen3.8-27Bの量子化版「OrcaSAQ-2-27B」のスペックや、vLLMでの動作要件、BF16との精度差を解説します。
「Hemmingway-1」日常文章特化の言語モデル：必要VRAM 12GB〜・GGUF版あり
Altworldが公開した「Altworld/Hemmingway-1」は、日常の文章を人が書いたように書くことに特化した27Bパラメータの言語モデルです。モデルのスペックや性能評価、使い方を解説します。
「DeepSeek-V4-Pro-0813」エージェント能力を強化した大規模MoEモデル：必要メモリ約998GB
DeepSeekがエージェント性能を強化した大規模MoEモデル「DeepSeek-V4-Pro-0813」をHugging Faceで公開。100万トークンの文脈とDSparkモジュールを搭載。
「K2-Horizon-32B-NVFP4」長文・推論対応モデル：当サイトでの回答例・必要VRAM 32GB〜
NVIDIA Blackwell世代向けに最適化された32Bのオープンウェイトモデル「IFM/K2-Horizon-32B-NVFP4」のスペックや推論性能、vLLM・SGLangでの利用方法を解説します。
「K2-Horizon-375B-A23B-NVFP4」NVFP4量子化の巨大MoEモデル：必要メモリ約257GB
IFMは、375BパラメータのMoEモデル「K2-Horizon-375B-A23B」のNVFP4量子化版を公開しました。Blackwell世代GPU向けの高効率な推論と主なスペック、ベンチマーク性能を解説します。
LLM推論エンジン「vllm-project/vllm v0.30.0」公開 – Fast Start機能や新モデル対応
LLM推論・サービングエンジン「vllm-project/vllm v0.30.0」が公開されました。GPUメモリによる重みキャッシュ「Fast Start」機能の導入や、初期化・グラフキャプチャの高速化、最新モデルのサポート状況など ...
ローカルAI実行エンジン「LocalAI v4.10.0」公開、ダッシュボード刷新
オープンソースのローカルAI実行エンジン「LocalAI v4.10.0」が公開。フリート運用ダッシュボードやCLIベンチマーク機能の追加、Apple M5の起動修正などを解説します。