推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い
Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。
ローカルLLM実行ツール「Ollama v0.35.0」公開、意思決定モデル向け新API追加
ローカルLLM実行ツール「Ollama v0.35.0」が公開。意思決定モデル向け新API「/v1/systemone」の追加や、「nimble」「tev1」などの新モデルサポートについて詳しく解説します。
画像生成GUI「ComfyUI v0.38.0」公開、Hunyuan Image 3.5やQwen-Image 2.1…
ComfyUI v0.38.0が公開。TencentのHunyuan Image 3.5やming-imageモデルのサポート追加、Qwen-Image 2.1の機能強化、torchaudio依存の削除など、主な変更点を解説します。
unsloth Desktop v0.1.900-beta公開。Laya搭載と生成高速化
unsloth Desktopがv0.1.900-betaへアップデート。Decision Model「Laya」のローカル実行、Skills Editor追加、LTX-2.3等の画像・動画生成の高速化、ModelScope対応などが ...
Unsloth v0.1.900-beta公開：Laya判定モデル対応と画像生成高速化
Unsloth v0.1.900-betaがリリース。判定タスク専用のLaya Decision Modelsのローカル実行・API化に対応したほか、LTX-2.3等の画像・動画生成が最大数倍高速化。ModelScope対応やSkil ...
画像生成WebUI「InvokeAI v6.14.2」公開、Z-Imageのエンコーダー制限やVRAM管理を改善
画像生成WebUI「InvokeAI v6.14.2」がリリース。Canvasのカスタムフォント対応やkrea-2のスタイル転送追加に加え、Z-Imageのエンコーダー制限やQwen2.5-VLのVRAM管理改善、不具合修正が行われて ...
小規模モデル向けRLタスクセット「SmolDataEnvs」公開
コード・データサイエンス領域で小規模モデルの強化学習・評価を行うための5.5K以上のタスクを収録したデータセット「FineEnvs/SmolDataEnvs」の概要と使い方を解説します。
推論エンジン「KoboldCpp v1.122」公開：エージェント機能追加
GGUFモデル向け推論エンジン「KoboldCpp v1.122」が公開。9種類の内蔵ツールを備えた軽量エージェント機能「KoboldCpp Agent」の追加や破壊的変更の解説、アップデート手順を解説します。
AIモデル実行ツール「ramalama v0.25.0」公開、セキュリティ強化とllama.cpp更新
AIモデルのローカルサービングを簡素化する開発者ツール「ramalama v0.25.0」が公開。serveコマンドのデフォルトバインド変更やllama.cpp v0.4.1へのアップデート、NVIDIA環境でのVulkanサポートな ...
C++テンソルライブラリ「ggml v0.25.2」公開、各バックエンドの最適化を実施
オープンソースのC++製テンソルライブラリ「ggml v0.25.2」が公開されました。CUDA、Vulkan、OpenCL、Hexagonバックエンドの最適化や不具合修正が行われています。