軽量LLMルーティングライブラリ「litelm」公開、vLLMやOllamaに対応
軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。
Together AI、オープンソースAIスタックの構造とMIGHTスタックを解説
Together AIが公開したオープンソースAIスタック「MIGHTスタック」の構造を解説。モデル、推論、ゲートウェイ、ハーネス、ツールの各レイヤー選定と、大規模・小規模モデルを組み合わせたワークフローを紹介します。