エンジン・ツール

@magnitudedev/cli v0.2.17公開:ARM CPUの推論高速化とコンテキスト長動的調整に対応

推論エンジンMagnitudeのCLIツール「@magnitudedev/cli」v0.2.17が公開。メモリに応じたコンテキスト長の動的調整や、ARM CPU環境でのQ8_0推論の高速化、GPUメモリ推定の精度向上の詳細を解説します ...