llamafile 0.10.6公開、llama.cpp更新とCUDA/HIPのグラフ機能強化
単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。
koboldcpp v1.121公開：Minimax H3メディアリファレンスやSDUIのLoRAセレクターに対応
GGUF実行ツール「koboldcpp v1.121」が公開されました。Minimax H3のメディアリファレンス対応やSDUIへのランタイムLoRAセレクター追加、MusicUIの刷新など、マルチメディア生成とUI機能が大幅に強化さ ...
「vectionlabs_Salience-27B-R6-GGUF」：当サイトでの回答例・必要VRAM 12GB〜
Vction Labs開発のSalience-27B-R6のGGUF量子化版が公開。思考効率化と100万トークン対応を備えたマルチモーダル27Bモデルのスペックと動作環境を解説。
「Intern-S2-397B-GGUF」科学分野向けマルチモーダル基盤モデル：必要メモリ約102GB
上海AIラボのマルチモーダル基盤モデル「Intern-S2-397B」のGGUF量子化版が公開。llama.cppやLM Studio等でのローカル実行手順やスペックを解説。
EleutherAI、データ帰属の基準モデル「bergson-wikitext-gpt2-leaderboard」公開
EleutherAIによる学習データ帰属のベンチマーク基準モデル「EleutherAI/bergson-wikitext-gpt2-leaderboard」の概要やスペック、各種影響度評価手法のスコアを解説します。
「yue2-mothersuperior-realaudio-tokenizer-v4」：必要VRAM 12GB〜
音楽生成モデル「YuE2-3B」向けのリアル音声用ツールキット「Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4」の公開情報を速報。自身の音源のトークン化やアーティスト ...
ClaudeからOllamaへのプロンプト移行：コンテキストと空転問題
Claudeなどの商用APIからOllama等のローカル環境へプロンプトを移行する際の、コンテキスト枯渇とエージェントの空転現象に関する議論を紹介します。
llama.cpp v0.4.1公開：ロード方式の変更と新モデルサポート
llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。
ggml v0.24.0リリース：精度制御APIの追加とバックエンド強化
機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。
「TheDrummer_Orion-26B-A4B-v1.1-GGUF」マルチモーダルモデル：必要VRAM 12GB〜
bartowski氏によるマルチモーダル対応モデル「Orion-26B-A4B-v1.1」のGGUF量子化版公開について、ファイルサイズや必要メモリ、対応環境を解説します。