「OpenJev-GGUF」27.4Bの意思決定特化型モデル：必要VRAM 24GB〜
ggml-orgが公開した、意思決定に特化した27.4Bのオープンウェイトモデル「OpenJev」のGGUF量子化版のスペックや特徴、llama.cppでの動かし方を解説します。
意思決定特化型モデル「OpenJev」のテスト用GGUFモデル公開
ggml-orgが公開した意思決定特化型オープンウェイトモデル「OpenJev」のテスト用GGUFモデル「tinyopenjev-for-testing-gguf」の仕様や、元モデルの推論環境構築手順を解説します。
Unsloth v0.1.901-beta公開、4-bit学習のメモリ削減とデスクトップUI強化
LLMや拡散モデルの実行・ファインチューニングツール「unsloth」の最新版v0.1.901-betaが公開。事前量子化4-bitチェックポイントのメモリ削減やコマンドパレットの導入、多数の新モデル対応について解説します。
「Xing4.0-29B-A4B」テキスト生成モデル：当サイトでの回答例・必要VRAM 24GB〜
中国電信がAscend NPUで学習した総パラメータ29B・活性4BのMoEモデル「Xing4.0-29B-A4B」を公開。コーディングエージェント性能に優れ、公式GGUFも用意されています。
週次まとめ: MiMo-V2.6一族や軽量意思決定モデルが登場
今週のオープンウェイトモデル動向を速報。Qwen3.8-27Bや軽量意思決定モデルTev1、llama.cpp v0.5.0など、ローカルで動く最新モデルとツールのアップデート情報をまとめてお届けします。
推論エンジン「KoboldCpp v1.122」公開：エージェント機能追加
GGUFモデル向け推論エンジン「KoboldCpp v1.122」が公開。9種類の内蔵ツールを備えた軽量エージェント機能「KoboldCpp Agent」の追加や破壊的変更の解説、アップデート手順を解説します。
AIモデル実行ツール「ramalama v0.25.0」公開、セキュリティ強化とllama.cpp更新
AIモデルのローカルサービングを簡素化する開発者ツール「ramalama v0.25.0」が公開。serveコマンドのデフォルトバインド変更やllama.cpp v0.4.1へのアップデート、NVIDIA環境でのVulkanサポートな ...
C++テンソルライブラリ「ggml v0.25.2」公開、各バックエンドの最適化を実施
オープンソースのC++製テンソルライブラリ「ggml v0.25.2」が公開されました。CUDA、Vulkan、OpenCL、Hexagonバックエンドの最適化や不具合修正が行われています。
C/C++ LLM推論ライブラリ「llama.cpp v0.5.0」リリース
C/C++ LLM推論ライブラリllama.cpp v0.5.0が公開。CUDAのconv2d加速やMetalでのMoE最適化、マルチアドレス対応サーバー機能の拡張などを詳しく解説。
機械学習ライブラリ「ggml v0.25.0」公開、FlashAttentionやMoEの最適化を拡充
C++製オープンソース機械学習ライブラリ「ggml v0.25.0」が公開されました。FlashAttentionやMoE、SSM、Hyper-connection処理の適用拡大とバックエンド最適化、GGUFアライメント変更などを解説 ...