推論エンジン「magnitude」v0.2.6公開、Macでのプロンプト処理が大幅高速化
Rust製のオープンソース推論エンジン「magnitude」のCLI v0.2.6がリリース。Apple Silicon環境でのプロンプト処理の高速化や長文処理時のクラッシュ修正、Metalコンパイルエラーの解消などが行われています。 ...
推論エンジン「@magnitudedev/cli」v0.2.5公開、M5 Mac対応やMoE高速化
オープンソース推論エンジン「@magnitudedev/cli」v0.2.5がリリース。M5 Macでのプロンプト処理約2倍高速化、MoEモデルの生成速度向上、M1/M2 MacやVulkan環境でのバグ修正が行われています。 ...
推論エンジン「Magnitude CLI 0.2.4」公開、メモリ削減と初回ロード高速化を実現
エージェント向け推論エンジン「Magnitude CLI 0.2.4」がリリース。メモリ使用量の大幅な削減と、最大約1分への初回カーネルチューニング時間短縮が行われました。
推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。