Ollama

Open WebUI v0.11.4が公開されました。Dockerのslimイメージが約175MBへと約89%軽量化されたほか、破壊的変更やターミナル連携、パフォーマンス改善の詳細を解説します。

Claudeなどの商用APIからOllama等のローカル環境へプロンプトを移行する際の、コンテキスト枯渇とエージェントの空転現象に関する議論を紹介します。

軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。

NVIDIAが公開した仮想推論ルーター「NVIDIA PAIR (Personal AI Router)」のベータ版について解説。ローカルネットワーク上の複数PCやGPUを活用し、マルチエージェント環境の推論ボトルネックを解消する方法 ...