推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。