技術解説

軽量LLMルーティングライブラリ「litelm」公開、vLLMやOllamaに対応

軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。