新モデル

「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜

オープンウェイトのマルチモーダルLLM「MiniCPM-V-4.7-1B」の推論を高速化する専用ドラフトモデル「MiniCPM-V-4.7-1B-DSpark」のGGUF版について、仕様やllama.cppでの実行方法を解説します。

新モデル

「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜

OpenBMBのビジョン言語モデル「MiniCPM-V-4.7-35B-A3B」向けGGUF版投機的デコーディング用ドラフトモデル「MiniCPM-V-4.7-35B-A3B-DSpark」のスペック、タスク別の受理長、llama.c ...