llama.cpp v0.8.0リリース:LiquidAI LFM3や音声リアルタイムAPIに対応
推論エンジンllama.cpp v0.8.0がリリース。LiquidAI LFM3ファミリーや多数の新モデル対応、音声ストリーミングAPI、リアルタイムサーバーエンドポイントの追加、メモリ管理の刷新など主要な変更点を解説します。
Ollama v0.40.12 Released: Liquid AI LFM3 and d1 Support
Ollama v0.40.12がリリースされました。Liquid AIのLFM3およびd1 decision modelsへの対応と、Appleシリコン環境でのプロンプト処理高速化についてお伝えします。
「LFM3-1.7B-MLX-5bit」長文脈対応のエージェント向けテキスト生成モデル:必要VRAM 4GB〜
LiquidAIが公開したエージェント向け1.7Bモデル「LFM3-1.7B-MLX-5bit」のスペックやベンチマーク、Apple Siliconでの実行方法を解説します。