新モデル

「LFM2.5-VL-3B-DSpark」ビジョン言語モデル向けドラフトモデル:必要VRAM 4GB〜・GGUF版あり

LiquidAIが「LFM2.5-VL-3B」向けの実験的なDSparkドラフトモデル「LFM2.5-VL-DSpark」を公開しました。推論速度の高速化手順や対応エンジンを解説します。

エンジン・ツール

Hugging Face transformers、GGUFモデルの直接実行をサポート

Hugging Faceの推論ライブラリtransformersがllama.cppのGGUFフォーマットモデルの直接実行に対応。Apple Silicon向けの最適化やPythonエコシステムでの活用方法を解説。