LM Studio、会話履歴を自己検索する「Introspection」とセッション参照機能を発表
LM Studioは、Bionicにおける過去の会話セッションの検索・参照機能「Introspection」および「@」メンション機能を発表しました。コンパクションによる情報の損失を防ぐエージェントの自己省察の仕組みを解説します。
ローカルAI実行エンジン「LocalAI v4.10.0」公開、ダッシュボード刷新
オープンソースのローカルAI実行エンジン「LocalAI v4.10.0」が公開。フリート運用ダッシュボードやCLIベンチマーク機能の追加、Apple M5の起動修正などを解説します。
「unsloth」v0.1.810-beta公開：マルチユーザー対応とDocker刷新
オープンソースのLLM実行・微調整ツール「unsloth」の最新版v0.1.810-betaが公開。マルチユーザーアカウント機能の追加やDockerイメージの刷新、ハードウェア対応の拡大について解説します。
GLMが独自推論インフラ構築を発表、中国製アクセラレータ活用と大規模MoEのローカル実行手法
GLMが10万台超の中国製AIアクセラレータを用いた独自推論インフラと「GLM-5.3-Flash」の稼働を発表。さらに744B MoEモデルをMacBookで動かすNVMeストリーミング手法も解説します。
TensorRT Edge-LLMとQwen3.6-27BでMLPerf Edge Agenticベンチマークを高速化
NVIDIA Jetson AGX Thor上でTensorRT Edge-LLMとQwen3.6-27Bを用いてMLPerf Edge Agenticベンチマークを実行し、従来のリファレンス比6.4倍の高速化を達成した詳細と再現手順 ...
Unsloth、Windows ARM64バイナリ版をリリース
ローカルLLM実行・学習フレームワーク「Unsloth」がWindows ARM64環境向けバイナリの提供を開始しました。ARM搭載Windowsでの利用手順やインストールオプションを解説します。
ComfyUI v0.36.0公開：汎用ループやYue2・Marigold v2に対応
ComfyUI v0.36.0がリリース。汎用ループ（Generic Loops）の実装をはじめ、音楽生成モデル「Yue2」や深度推定「Marigold v2」のサポート、LlamaベースモデルのRoPE処理高速化などの変更点を解説し ...
llamafile 0.10.6公開、llama.cpp更新とCUDA/HIPのグラフ機能強化
単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。
koboldcpp v1.121公開：Minimax H3メディアリファレンスやSDUIのLoRAセレクターに対応
GGUF実行ツール「koboldcpp v1.121」が公開されました。Minimax H3のメディアリファレンス対応やSDUIへのランタイムLoRAセレクター追加、MusicUIの刷新など、マルチメディア生成とUI機能が大幅に強化さ ...
llama.cpp v0.4.1公開：ロード方式の変更と新モデルサポート
llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。