ローカルLLMの動作速度を体感・推計できるシミュレータ「llmspeed」公開
ハードウェア購入前にローカルLLMの動作速度を推計できるオープンソースのシミュレータツール「llmspeed」の概要を解説。対応ハードウェアとモデルの組み合わせや速度試算機能を紹介します。
手元で動くオープンウェイトモデルの新着・早見表・実測データ
ハードウェア購入前にローカルLLMの動作速度を推計できるオープンソースのシミュレータツール「llmspeed」の概要を解説。対応ハードウェアとモデルの組み合わせや速度試算機能を紹介します。