AIエージェント向け推論エンジン「Magnitude」公開、llama.cpp比で最大2倍高速
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。