「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり

「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり

基本情報

項目 内容
リポジトリ microsoft/UserRepGen-4B
まとめページ Qwen3.5 のまとめ(記事8本)
公開元のまとめ Microsoft のモデルとライセンスのまとめ
公開日 2026-10-15
ライセンス mit
配布形式 safetensors
出典の種類 公開元の一次情報(Microsoft公式HFリポジトリ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Microsoftが、複数ターンのユーザー・アシスタント間の会話から、ユーザーの「タスク」と「行動パターン」を自然言語で表現した構造化データを生成するモデル「UserRepGen-4B」を公開しました。Qwen3.5-4Bをファインチューンしたモデルで、生成した表現を別のLLMベースの「ユーザーシミュレーター」に渡すための入力を作ることに特化しています。

同じMicrosoft製のUserLM-8bやUserLM-2.0がユーザーの発言そのものを生成するのに対し、UserRepGen-4Bは「表現」のみを生成し、ユーザーのシミュレーションそのものは行わない点が特徴です。会話のシミュレーションや事後比較によるフィードバックを使った学習(hindsight distillation)によってオンラインで教師あり微調整されていますが、推論時にはシミュレーション実行やフィードバックを必要とせず、元の会話から直接表現を生成します。

スペック

  • モデル種別: ユーザー表現生成用の4B級言語モデル(モデルカードの表記)
  • アーキテクチャ: Qwen3_5ForConditionalGeneration(バックボーンはQwen3.5-4B)
  • 適応手法: Rank-64のLoRAによるオンライン教師あり微調整(OSFT)
  • 対応言語: 英語
  • 入力: テキストのみ、複数ターンのユーザー・アシスタント間会話
  • 出力: taskとuser_behaviorの2フィールドを持つJSON形式のテキスト
  • 学習時のシーケンス長: 9,216トークン(プロンプト最大8,192トークン+生成最大1,024トークン)

性能

モデルカードには、生成した表現を使ってユーザーをシミュレーションした際の「会話再現の忠実度」を比較した表が掲載されています。Best-of-1とBest-of-3の2条件でのスコアです。

表現の生成方法 / 学習手法 Best-of-1 Best-of-3
Qwen3.5-4B base model 3.41 4.42
GPT-5.5 3.90 4.90
Supervised fine-tuning (SFT) 4.64 5.68
OPSD 4.46 5.60
GRPO 3.57 4.59
UserRepGen-4B (OSFT) 4.95 6.02

この表は、Microsoftの公開元が独自に測定した結果です。UserRepGen-4B(OSFT手法で学習)は、Best-of-1・Best-of-3の両条件で比較対象の中で最も高いスコアを記録しており、素のQwen3.5-4Bや大規模モデルのGPT-5.5を使って表現を生成させた場合よりも、シミュレーターが元の会話を忠実に再現できる表現を作れていることが分かります。一般的なSFTやOPSD、GRPOといった他の学習手法と比べても、OSFTが最も高い値になっています。なお、このBest-of-1・Best-of-3という指標自体が何を測る標準ベンチマークなのかはモデルカードの説明からは読み取れないため、ここではスコアの大小関係のみを紹介しています。他の分野(一般知識やコーディングなど)についての比較データはモデルカードに記載がありません。

得意なこと・想定用途

UserRepGen-4Bは汎用の対話モデルではなく、「LLMベースのユーザーシミュレーション」という研究用途に特化したモデルです。モデルカードが明示する直接の用途は、許可を得た会話データを、別のユーザーシミュレーターに渡せるコンパクトな自然言語表現に変換することで、会話の再現、シミュレーターの評価、AIアシスタントの対話学習・評価、シミュレーション集団の行動多様性に関する研究を支援する目的で使われます。タグにも user-representation、user-simulation、simulation、multi-turn が付けられており、用途の専門性がうかがえます。

最も適した対象は、評価に使われた7つのデータセットに近い、英語の複数ターンのユーザー・アシスタント会話です。モデルカードは、英語以外の言語、短いまたは単発ターンのやり取り、テキスト以外のモダリティ、利用者の実世界での身元特定や雇用・医療・金融など重要な意思決定への利用は評価対象外であると明記しています。チェックポイント自体はQwen3.5のvision対応アーキテクチャを引き継いでいますが、ファインチューンと評価はテキスト入力のみを対象としており、画像・動画入力はサポートされません。

類似モデルとの違い

当サイトでは以前、同じQwen3.5-4Bを土台にした「Tev1-4B-experimental」構造化データの意思決定に特化した4Bモデル:必要VRAM 4GB〜を紹介しています。Tev1-4B-experimentalは「状態」「質問」「選択肢」という構造化入力から単一の選択肢ラベルを返す分類・意思決定寄りのモデルであるのに対し、UserRepGen-4Bは会話履歴からユーザーの「タスク」と「行動パターン」を自然言語の記述として生成する点が大きく異なります。同じベースモデルを使いながらも、片方は選択肢を1つ選ぶ出力、もう片方は人物像に近い記述を生成する出力という、狙う対象がまったく別の方向を向いています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.5B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q6_K_S 3.3GB 4.0GB
RTX 4060 / 3060 Ti など 8GB Q8_0 4.2GB 5.0GB
RTX 4070 / 3060 12GB など 12GB BF16 7.8GB 9.4GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 bartowski/UserRepGen-4B-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、bartowski/UserRepGen-4B-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: Q8_0 は実測 7.95 bit/weight で、元の16bitの重みの約50%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
IFM/Jais-3-7B-GGUF 9.0B 8GB apache-2.0 「Jais-3-7B-GGUF」アラビア語と英語対応の7B推論モデル:必要VRAM 8GB〜(2026-11-17)
IFM/Jais-3-3.7B-GGUF 5.1B 4GB apache-2.0 「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜(2026-11-17)
ibm-granite/granite-switch-4.1-8b 8.8B 24GB apache-2.0 IBM、モジュール型LLM「Granite Switch 4.1」公開(2026-11-17)
ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 8.0B 12GB apache-2.0 「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜(2026-11-17)
ByteDance-Seed/Cola2 8.8B 48GB — ByteDance-Seed/Cola2 Language Model: Continuous Compression…(2026-11-17)

入手方法

配布形式はsafetensorsで、Hugging Face TransformersのAutoModelForImageTextToTextで読み込めます。モデルカードでは、研究時の推論環境としてvLLMをNVIDIA H100、A100、RTX A6000、B200上でホストしたと報告されており、Transformers・vLLMいずれでも動作する想定です。入手例としてモデルカードには付属のサンプルスクリプトをダウンロードする方法が示されています。

hf download microsoft/UserRepGen-4B example.py --local-dir userrepgen-example
python userrepgen-example/example.py --device cuda

GPUが無い環境では--device cpuを指定でき、Linux上のCPUでも読み込みと生成が確認されたとモデルカードに記載されています(float32を使うため、性能測定ではなく動作確認とされています)。ライセンスはMITで、現時点でHugging Face側の利用規約への同意(gated)は必要とされていません。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 bartowski GGUF(imatrix) bartowski/UserRepGen-4B-GGUF Q6_K_S 4.0GB(4GB VRAMで動作)
2026-11-17 mradermacher GGUF mradermacher/UserRepGen-4B-GGUF Q6_K 3.9GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • bartowski/UserRepGen-4B-GGUF の量子化: IQ2_M 1.5GB / Q2_K 1.6GB / IQ3_XXS 1.8GB / Q3_K_S 1.8GB / IQ3_XS 1.8GB / Q3_K_M 1.9GB / Q3_K_L 2.0GB / IQ3_M 2.1GB / IQ4_XS 2.3GB / Q4_K_S 2.4GB / Q4_0 2.5GB / IQ4_NL 2.5GB / Q4_K_M 2.5GB / Q4_1 2.7GB / Q4_K_L 2.7GB / Q5_K_S 2.9GB / Q5_K_M 3.1GB / Q6_K_S 3.3GB / Q6_K 3.4GB / Q6_K_L 3.6GB / Q8_0 4.2GB / BF16 7.8GB
  • mradermacher/UserRepGen-4B-GGUF の量子化: Q2_K 1.8GB / Q3_K_S 1.9GB / Q3_K_M 2.1GB / Q3_K_L 2.3GB / IQ4_XS 2.4GB / Q4_K_S 2.4GB / Q4_K_M 2.5GB / Q5_K_S 2.8GB / Q5_K_M 2.9GB / Q6_K 3.2GB / Q8_0 4.2GB / F16 7.8GB

このほか、上記以外の投稿者による変換版が 4 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: bartowski/UserRepGen-4B-GGUF, mradermacher/UserRepGen-4B-GGUF
  • 2026-11-17: 動作環境の表を bartowski/UserRepGen-4B-GGUF の実ファイルサイズで更新しました。
  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。