エンジン・ツール

推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い

Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。