inclusionAIがSingProbe対応モデル2種を公開

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | inclusionAI/Ling-3.1-flash-1019-singprobe |
| 公開元のまとめ | inclusionAI(Ant Group) のモデルとライセンスのまとめ |
| 公開日 | 2026-11-19 |
| ライセンス | mit |
| 配布形式 | safetensors |
| 論文 | arXiv:2608.30703 |
| 出典の種類 | 公開元の一次情報(公式HuggingFaceリポジトリが一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
inclusionAIは、LLMの生成処理中に内部状態を参照してリアルタイムにガードレール評価を行う軽量モデルとして、inclusionAI/Ling-3.1-flash-1019-singprobe および inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe の2つのモデルを公開しました。
これらのモデルは、自己回帰デコーディングを行うベースモデルの隠れ状態(hidden states)を直接利用し、独立したモデルを毎回呼び出すことなく、トークン生成と並行してリアルタイムに不適切表現やハルシネーションリスクをスコアリングする「SingProbe」技術を採用しています。
論文(SingProbe Technical Report)の要旨によると、SingProbeは従来の独立型ガードレールモデルのような重複した処理によるオーバーヘッドを回避し、推論エンジン(SGLangやvLLM)との統合によって僅かな実行負荷(同実装において0.5%未満)でクエリ意図・応答の安全性・ハルシネーションリスクを連続出力することを目指して開発されています。
スペック
- パラメータ数:8.13M(プローブ部分)
- アーキテクチャ:SingProbeAttnModel(8アテンションヘッド、ヘッド次元64)
- コンテキスト長:2,048トークン(プローブのウィンドウサイズ)
性能
公開元のモデルカードにおいて示されている Ling-3.1-flash-1019-singprobe の構造および評価データは以下の通りです。
モデルの構成情報:
| Base model | Probe parameters | Tapped layers (zero-based) | Outputs |
| — | —: | — | — |
| Ling-3.1-flash-1019 | 8.13M | [23, 47, 71] | 8 query intents + response unsafety + hallucination |
ベンチマーク評価の比較結果:
| Task | Metric | Ling-3.1-flash-1019-singprobe | Reference baseline |
| — | — | —: | — |
| Query intent classification (6 benchmarks) | F1 | 0.8687 | YuFeng-XGuard-Reason-8B (0.8714) |
| Response safety classification (8 benchmarks) | F1 | 0.8707 | Qwen3Guard-Gen-8B-strict (0.8604) |
| Streaming safety (3 benchmarks) | Response AUC / token AUC | 0.9844 / 0.9411 | Qwen3Guard-Stream-8B-strict (0.9640 / 0.8893) |
| Hallucination detection (6 benchmarks) | AUC | 0.8041 | DRIFT (0.8000) |
デプロイ特性の評価:
| Deployment characteristic | Result |
| — | — |
| Benign-response false-positive rate | 0.008% averaged over 5 datasets at the evaluation’s pre-calibration response threshold of 0.983085 |
| Calibrated release thresholds | 0.5 for response unsafety and 0.5 for hallucination |
公開元が自ら実施した測定結果から、本モデルの各分野における傾向が確認できます。ストリーミングでの安全性評価(Streaming safety)においては、Response AUCで0.9844、token AUCで0.9411を記録し、比較対象であるQwen3Guard-Stream-8B-strict(0.9640 / 0.8893)を明確に上回る非常に高い検出精度を示しています。応答の安全性分類(Response safety classification)でもF1スコア0.8707を達成し、Qwen3Guard-Gen-8B-strictの0.8604を超える数値を出しています。また、ハルシネーション検出(Hallucination detection)においてもAUC 0.8041を記録し、DRIFTの0.8000を上回っています。一方で、クエリの意図分類(Query intent classification)におけるF1スコアは0.8687となり、比較基準とされたYuFeng-XGuard-Reason-8Bの0.8714に比べてわずかに及ばない結果となっています。実運用面においては、無害な応答に対する誤判定率(Benign-response false-positive rate)が5つのデータセット平均で0.008%と低く抑えられており、正常な入出力を妨げずにリアルタイムで危険を検知できるバランスの良さを備えています。
得意なこと・想定用途
本モデル群は、LLMの生成処理(自己回帰デコーディング)と並行してリアルタイムに安全性を監視するストリーミングガードレールおよびハルシネーション検知機能を得意としています。
ベースモデルである Ling-3.1-flash-1019 や DeepSeek-V4.1-Flash-1017 の隠れ状態(hidden states)から3つの層を参照し、外部の独立したガードレールモデルを別途呼び出すことなく、トークン生成ごとに以下の要素をリアルタイムでスコアリングします。
- クエリ意図の分類:入力されたクエリの意図を8つのカテゴリ(
label_0〜label_7)で評価します。 - 応答の不安全性検知:生成中のトークンに含まれる不適切な表現や安全上のリスク(
label_8)を検知します。 - ハルシネーションリスクの検出:モデルの生成内容における事実と異なる出力や論理的な破綻のリスク(
label_9)を監視します。
想定される主な用途は、ユーザーへ回答をリアルタイムでストリーミング表示するチャットボットや対話型システムでのオンライン監視です。独立したガードレールモデルを介さずにベースモデルの内部状態をそのまま利用するため、処理の重複によるオーバーヘッドを抑えながら高速にリスクを把握できます。
さらに、無害な文脈への誤判定を低く抑えつつ不適切な生成を検知できるため、問題のある出力が検出された段階で即座に生成を停止したり、制約付きデコーディング(constrained decoding)や特定の医療リスク介入(SingProbe-Med)などの安全制御メカニズムへ組み込んだりする用途にも適しています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 8M
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 4GB(ノートPCの内蔵GPU・スマートフォンなど) | BF16 | 0.0GB | 0.0GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-20 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
公開元の配布形式は safetensors です。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
入手方法
本モデルの重みは safetensors 形式で配布されており、Hugging Face 上で公開されています。ライセンスには MIT ライセンスが適用されており、入手にあたって規約への同意手続き(gated)は必要ありません。
本モデルは SGLang や vLLM などの推論エンジンとの統合が想定されています。モデルカードには、SGLang の特定ブランチ(branch 261029)を用いたサーバーの起動手順が紹介されています。
inclusionAI/Ling-3.1-flash-1019-singprobe を起動する場合のコマンド例は以下の通りです。
python3 -m sglang.launch_server \
--model-path /home/admin/Ling-3.1-flash-1019 \
--probe-ckpt /yijian3/536716/SingGuardStream-Final/release/Ling-3.1-flash-1019-singprobe \
--trust-remote-code --tp 8 --ep-size 8 \
--context-length 16384 --chunked-prefill-size 1024 \
--max-prefill-tokens 8192 --max-total-tokens 32768 \
--max-running-requests 16 --mem-fraction-static 0.85 \
--cuda-graph-backend-prefill disabled --cuda-graph-backend-decode disabled \
--port 30000
inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe を利用する場合も、--model-path と --probe-ckpt のパスを該当モデルのディレクトリに読み替えて同様の構成でサーバーを立ち上げることができます。
サーバーの稼働後、/generate エンドポイントからのレスポンスに含まれる meta_info.token_probe_probs フィールドを参照することで、トークンごとのスコアを取得できます。キーである label_0 〜 label_7 がクエリ意図、label_8 が応答の不安全性、label_9 がハルシネーションリスクの確率スコアに対応しています。
関連記事
- 「ZoomGain-4B」微細視覚認識特化型の視覚言語モデル:必要VRAM 4GB〜・GGUF版あり
- 「Ling-3.0-flash-Sante-fp8」医療分野に特化した大規模言語モデル:必要メモリ約144GB
- 「Ling-3.1-flash-1019」テキスト生成モデル:必要メモリ約641GB・GGUF版あり
- 「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは4GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → inclusionAI(Ant Group) のモデル・ライセンス・記事のまとめ

