新モデル

「NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF」テキスト生成モデル:必要VRAM 8GB〜

NVIDIAが公開した再帰ループ構造を持つ4B言語モデル「NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF」のスペックや特徴、llama.cppでの動かし方を解説します。

新モデル

NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応

NVIDIAが公開したループ型LLM「Dory1.0-4B」のスペックや推論時のループ回数による性能、vLLMやllama.cppでの動かし方を解説します。

エンジン・ツール

Apple MLX v0.30.1:Mac Studioでの分散推論手法を発表

Apple ML Researchが公開したMLX v0.30.1によるMac Studioの分散推論手法を解説。Thunderbolt 5とRDMAを活用した超大規模モデルのローカル実行を速報でお届けします。

画像・動画・音声

「Sol-H3-VAE」高速動画デコーダモデル:必要VRAM 8GB〜・配布ファイル一覧

Efficient-Large-Modelが公開した「Sol-H3-VAE」は、MiniMax-H3向けの高速な動画デコーダモデルです。24層のnoncausalデコーダへの蒸留により、従来のH3 VAEデコーダと比較して大幅な高速化 ...

新モデル

「Qwen3-8B-DSpine-b16」投機的デコード向け並列ドラフトモデル:必要VRAM 4GB〜

Tencentが公開した投機的デコード用並列ドラフトモデル「Qwen3-8B-DSpine-b16」のスペックや推論高速化の仕組み、ベンチマーク結果を解説します。

エンジン・ツール

open-webui v0.12.3公開:E2EEチャット機能やRedis負荷軽減を追加

AIインターフェース「open-webui v0.12.3」が公開。MLSプロトコルによるエンドツーエンド暗号化チャットの追加、Redis利用時のストリーミング処理の軽量化、IME誤送信の修正など、主な変更点と導入・更新手順を解説。

新モデル

「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF」:必要VRAM 80GB〜

NVIDIAのマルチモーダルモデルをGGUF形式に変換した「lmstudio-community/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF」の概要や入手方法を解説します。

画像・動画・音声

「Voxtral-Mini-4B-Realtime-2602-GGUF」音声認識モデル:必要VRAM 4GB〜

ggml-org/Voxtral-Mini-4B-Realtime-2602-GGUFのスペックや性能、llama.cppを用いたローカルでのサービング手順を解説します。

新モデル

Xing4.0-29B-A4BのW8A8量子化版「Xing4.0-29B-A4B-w8a8」公開

中国電信人工智能科技が開発した29BパラメータのMoEモデル「Xing4.0-29B-A4B」のW8A8量子化版が公開。Ascend NPUでの推論効率向上とメモリ削減を実現。

新モデル

Mistralの時系列予測モデル「Timestral」公開、CPUでも高速動作

Mistral AI初の時系列基盤モデル「Timestral」が公開されました。5Mから209Mまでの4サイズで展開され、主要ベンチマークで首位を獲得しています。スペックや導入方法を解説します。