GGUF

Prism MLによるQwen3.8-27Bベースの三値言語モデル「Bonsai 2 27B GGUF」のスペックや推論性能、専用llama.cppでの実行方法を解説します。

オープンソースのLLM実行・微調整ツール「unsloth」の最新版v0.1.810-betaが公開。マルチユーザーアカウント機能の追加やDockerイメージの刷新、ハードウェア対応の拡大について解説します。

3値大規模言語モデルの重み分布の偏りに着目し、1.485ビット/重みを達成した研究「Breaking the 1.58-bit Barrier for Ternary LLMs」の概要とコミュニティの議論を紹介します。

ローカルLLM実行・学習フレームワーク「Unsloth」がWindows ARM64環境向けバイナリの提供を開始しました。ARM搭載Windowsでの利用手順やインストールオプションを解説します。

単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。

GGUF実行ツール「koboldcpp v1.121」が公開されました。Minimax H3のメディアリファレンス対応やSDUIへのランタイムLoRAセレクター追加、MusicUIの刷新など、マルチメディア生成とUI機能が大幅に強化さ ...

Vction Labs開発のSalience-27B-R6のGGUF量子化版が公開。思考効率化と100万トークン対応を備えたマルチモーダル27Bモデルのスペックと動作環境を解説。

上海AIラボのマルチモーダル基盤モデル「Intern-S2-397B」のGGUF量子化版が公開。llama.cppやLM Studio等でのローカル実行手順やスペックを解説。

Claudeなどの商用APIからOllama等のローカル環境へプロンプトを移行する際の、コンテキスト枯渇とエージェントの空転現象に関する議論を紹介します。

llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。