「PixelUMM」マルチモーダルモデル:必要VRAM 24GB〜
NVIDIAが公開した「PixelUMM」は、テキスト・画像・動画の理解と生成を単一モデルで行うマルチモーダルモデルです。外部の視覚エンコーダを使わないエンコーダフリー構造の特徴や仕様、入手方法を解説します。
TensorRT Edge-LLMとQwen3.6-27BでMLPerf Edge Agenticベンチマークを高速化
NVIDIA Jetson AGX Thor上でTensorRT Edge-LLMとQwen3.6-27Bを用いてMLPerf Edge Agenticベンチマークを実行し、従来のリファレンス比6.4倍の高速化を達成した詳細と再現手順 ...
ExLlamaV3 1.5.0リリース:MoEモデル推論の高速化と新機能
ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。
「DeepSeek-V4-Pro-0813-nvfp4-DSpark」テキスト生成モデル:必要メモリ約1005GB
NVIDIAが公開したDeepSeek-V4-ProのNVFP4量子化モデル「DeepSeek-V4-Pro-0813-nvfp4-DSpark」のスペックや推論環境について紹介します。