BotPsy: 0.8Bのオンデバイス向けエージェント言語モデル

BotPsy: 0.8Bのオンデバイス向けエージェント言語モデル

基本情報

項目 内容
公開元 Hugging Face Blog
公開日 2026-11-11
出典の種類 公開元の一次情報(Hugging Face公式ブログ記事のため一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Tether AI Researchは、関数呼び出しとエージェント処理に特化した0.8Bパラメータのモデル「BotPsy」を発表しました。Qwen3.5-0.8Bをベースにしており、オンデバイスでの動作を想定しています。ブログによれば、重みはsafetensorsとGGUF(bf16、Q8、Q4)で提供される予定とされています。ブログには「will be released」という記述があるため、公開状況はリポジトリで確認してください。

Web検索、旅行、決済、デバイス操作、ファイル、カレンダー、メールなど、ツールを使う簡単なパーソナルアシスタント作業が対象です。公開元自身が、難易度が低〜中のタスク向けで、高リスク用途には向かないと述べています。

スペック

  • パラメータ数: 0.8B
  • ベースモデル: Qwen3.5-0.8B
  • 学習手順: SFT、Multi-teacher On-Policy Distillation(MOPD)、強化学習(RL)2回の計4段階の後学習
  • 蒸留の教師: ツール利用・一般推論・指示追従をそれぞれRLで鍛えた3つのQwen3.5-4B

性能

以下の数値はすべて公開元のブログによる自社測定値で、第三者による検証ではありません。Table 1(ツール利用・エージェント系、0〜100、高いほど良い)は、掲載されている5列をそのまま載せます。

→ 横にスクロールできます

Benchmark BotPsy-0.8B Qwen3.5-0.8B-Think(ベース) Qwen3.5-2B-Think LFM2.5-1.2B-Think MiniCPM5-1B-Think
BFCL v4 44.0 23.4 37.7 28.1 22.8
ACEBench 58.7 30.1 55.4 39.4 24.5
τ-bench 51.5 23.2 46.5 6.5 28.8
Claw-Eval 46.5 39.3 48.9 31.6 31.0
BrowseComp-Plus 4.5 1.9 2.8 0.2 0.8
ToolSandbox 64.6 30.5 41.2 45.7 28.1
Average 45.0 24.7 38.8 25.3 22.7

知識と指示追従の表(Table 2、3)は、BotPsy、ベース、Qwen3.5-2B-Thinkの3列に絞って載せます。

Benchmark BotPsy-0.8B Qwen3.5-0.8B-Think Qwen3.5-2B-Think
GPQA Diamond 38.1 33.2 59.9
MMLU-Pro 48.9 41.6 65.5
IFEval 90.8 59.7 80.0
IFBench 55.9 22.0 40.9
Multi-IF 67.2 43.2 66.9

表から言えること

BotPsyは6つのエージェント系ベンチマークのうち5つで最高値です。BFCL v4(関数の選択と引数の組み立ての正確さ)は44.0で、2.5倍の大きさのQwen3.5-2B-Thinkの37.7を上回ります。τ-bench(ポリシーを守った対話とツール呼び出しの両立)も51.5対46.5で上回っています。ベースからは多くの項目でほぼ倍の伸びです。

一方、Claw-Evalだけは46.5で、Qwen3.5-2B-Thinkの48.9に届いていません。BrowseComp-Plusも最高値ですが4.5と絶対値は低く、ブログ自身がオープンエンドな検索を弱点としています。

知識面では、GPQA DiamondとMMLU-Proがベースより伸びました。ただしQwen3.5-2B-Thinkの59.9と65.5には大きく及びません。ブログも、事実はツールで調べさせる設計であり、知識モデルではないと説明しています。IFEvalは90.8と比較対象の中で最高で、形式指示を守る力は高い結果です。Multi-IFは同等水準で、ブログによればヒンディー語(24.5)やロシア語(57.6)など低リソース言語は弱いとされています。

ブログはこのほか、red-teamingでの有害応答率が21%(ベースは36%)になったと報告しています。

得意なこと・想定用途

BotPsyは、ツールを呼び出して作業する「パーソナルアシスタント」を狙ったモデルです。ブログが挙げる領域は、Web検索・リサーチ、旅行・ライフスタイル、コマース・金融、業務・カスタマー対応、デバイス・車両操作、ファイル・ドキュメント、カレンダー、メール・メッセージングです。

  • 単発のツール呼び出し: ブログによれば、単純なシナリオ(1ターン・1回の呼び出し)は、サンプル数が十分あるアプリ群のすべてで70〜79点です。全体では75点で、ベースの54点、Qwen3.5-2B-Thinkの70点を上回ると報告されています。
  • マルチターンの対話: τ²-benchのtelecomで82.5(Qwen3.5-2B-Thinkは69.3)、BFCL v4のmulti-turnでは7.5から46.1に上がったとされています。
  • 呼ぶべきでない場面の判断: 適切なツールが無い場合に断るかを見るBFCL v4のhallucinationテストで86.1と、テストした中で最高です。
  • 指示追従: IFEvalやIFBenchが大きく伸びています。
  • 安全性: プロンプトインジェクション下の有害応答率は、ベースの46%から31%に下がったと報告されています。

苦手な点も公開元自身が挙げています。

  • 多段の情報収集: 複雑なInformation Retrieval & Researchのシナリオは15点にとどまります(単発は79点)。
  • Web検索とメモリ: BFCLのweb searchは14.0、memoryは16.3で、Qwen3.5-2B-Thinkの19.8と26.1に及びません。
  • 知識: 知識量は主にパラメータ数に依存します。事実はツールで調べさせる設計で、知識モデルとしては使わないでください。
  • 多言語: Multi-IFではヒンディー語が24.5と低めです。
  • 複雑なタスク: 複雑なシナリオ全体は39.5で、単発より低いままです。

公開元は、小型モデルのためミスがあり、高リスク用途は想定していないとしています。難易度が低〜中のタスク向けと考えてください。

推論効率も特徴とされています。全モデルが正解した問題で比べると、GPQA Diamondでは推論トークン数がベースの約3分の1(3,690対11,563)です。IFBenchで反復ループに陥る率は22.9%から1.4%に下がったと報告されています。オンデバイスでの遅延低減が期待できると、ブログは述べています。ただし、これは公開元の測定です。

入手方法

ブログによれば、BotPsyはApache 2.0ライセンスのオープンウェイトで公開される予定です。ただしブログは「research and educational use(研究・教育用)」と記しており、商用利用の可否は資料から読み取れません。ライセンス条件はリポジトリで確認してください。

  • 配布形式: Hugging Faceのsafetensors、およびGGUF。GGUFの精度はbf16、Q8、Q4の3種類です。
  • 対応エンジン: GGUFはQVAC SDKとllama.cpp向けと説明されています。
  • 入手先: ブログ内に、モデル(safetensors)とGGUFへのリンクがあります。ただし資料にはリポジトリ名が書かれていません。そのためダウンロードコマンドは記載しません。ブログ記事から辿ってください。

ブログには「will be released」とあります。公開時期の確認が取れていないため、実際のダウンロード可否は先にリポジトリで確かめてください。

関連記事

次に読むなら

出典