TensorRT Edge-LLMとQwen3.6-27BでMLPerf Edge Agenticベンチマークを高速化
NVIDIA Jetson AGX Thor上でTensorRT Edge-LLMとQwen3.6-27Bを用いてMLPerf Edge Agenticベンチマークを実行し、従来のリファレンス比6.4倍の高速化を達成した詳細と再現手順 ...
IEEE Spectrum: 2026年の推論ハードウェア革命とオープンモデルへの影響
IEEE Spectrumが報じた2026年のAI推論ハードウェア革命の動向を解説。Groq、Cerebras、HBM4、NVFP4量子化などの技術がローカルLLM運用に与える影響を技術者向けに速報します。