DeepSeek-V4.1-FlashとMiniCPM5-2Bの登場：週次オープンモデルまとめ
DeepSeek-V4.1-FlashやMiniCPM5-2Bなどの新型モデルの公開、vLLM v0.29.0やUnslothのアップデートなど、ローカル推論・学習環境の最新動向を振り返ります。
軽量LLMルーティングライブラリ「litelm」公開、vLLMやOllamaに対応
軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。
「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル：必要メモリ約1005GB
NVIDIAが公開したDeepSeek-V4-ProのNVFP4量子化モデル「DeepSeek-V4-Pro-0813-nvfp4-DSpark」のスペックや推論環境について紹介します。
vLLM v0.29.0リリース：Model Runner V2がデフォルト化、破壊的変更まとめ
推論エンジンvLLM v0.29.0が公開。すべてのモデルでModel Runner V2がデフォルト化されたほか、起動コマンドの変更やモデル削除などの破壊的変更、新モデル対応を解説します。
「MiniCPM5-2B」コードや数学に強いオンデバイスモデル：当サイトでの回答例・必要VRAM 4GB〜
OpenBMBが公開した2Bクラスのオンデバイス向け大規模言語モデル「MiniCPM5-2B」のスペック、ベンチマーク性能、動作環境、利用方法を解説します。