意思決定モデルの台頭と推論エンジン高速化：オープンウェイトAI週報
CloudflareのclefやELYZA-Thinking-1.0など意思決定・推論モデルの台頭、Ollama v0.35.0やRust製推論エンジンMagnitudeの高速化競争など、今週のローカルAIの動きを速報でお届けします。 ...
ローカルLLM実行ツール「Ollama v0.35.0」公開、意思決定モデル向け新API追加
ローカルLLM実行ツール「Ollama v0.35.0」が公開。意思決定モデル向け新API「/v1/systemone」の追加や、「nimble」「tev1」などの新モデルサポートについて詳しく解説します。
AIインターフェース「Open WebUI v0.11.4」公開、Dockerイメージが約175MBへ大幅軽量化
Open WebUI v0.11.4が公開されました。Dockerのslimイメージが約175MBへと約89%軽量化されたほか、破壊的変更やターミナル連携、パフォーマンス改善の詳細を解説します。
ClaudeからOllamaへのプロンプト移行：コンテキストと空転問題
Claudeなどの商用APIからOllama等のローカル環境へプロンプトを移行する際の、コンテキスト枯渇とエージェントの空転現象に関する議論を紹介します。
軽量LLMルーティングライブラリ「litelm」公開、vLLMやOllamaに対応
軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。
NVIDIA PAIR仮想推論ルーター公開、ローカル計算資源を拡張
NVIDIAが公開した仮想推論ルーター「NVIDIA PAIR (Personal AI Router)」のベータ版について解説。ローカルネットワーク上の複数PCやGPUを活用し、マルチエージェント環境の推論ボトルネックを解消する方法 ...