EleutherAI、データ帰属の基準モデル「bergson-wikitext-gpt2-leaderboard」公開

2026年9月18日

EleutherAI、データ帰属の基準モデル「bergson-wikitext-gpt2-leaderboard」公開

基本情報

項目 内容
リポジトリ EleutherAI/bergson-wikitext-gpt2-leaderboard
公開日 2026-09-15
ライセンス apache-2.0
配布形式 safetensors
論文 arXiv:2303.14186
出典の種類 公開元の一次情報(EleutherAI公式リポジトリで裏付けあり)

収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。

概要

EleutherAIより、学習データ帰属（training data attribution）のベンチマーク「bergson leaderboard」の基準モデル「EleutherAI/bergson-wikitext-gpt2-leaderboard」が公開されました。

本モデルは、openai-community/gpt2をベースに、WikiTextデータセットの4,608チャンク（EleutherAI/bergson-wikitext-512-chunks）を用いて4エポックのファインチューニングを行ったものです。モデルカードによると、ホールドアウト損失（Held-out loss）は3.545から3.111へ低下しています。

スペック

  • ベースモデル: openai-community/gpt2
  • ライセンス: apache-2.0

性能

モデルカードでは、各種のデータ帰属手法を評価したbergson leaderboardのスコアが公表されています。掲載されている表は以下の通りです。

Method Proponent QLD [95% CI] LDS [95% CI]
MAGIC 0.100 [0.090, 0.112] 0.931 [0.925, 0.936]
Eigenvalue-corrected Shampoo 0.071 [0.060, 0.082] 0.517 [0.491, 0.539]
EK-FAC 0.070 [0.058, 0.082] 0.454 [0.426, 0.479]
KFAC 0.067 [0.056, 0.080] 0.420 [0.391, 0.446]
BM25 0.062 [0.048, 0.076] 0.220 [0.185, 0.252]
Qwen3-Embedding-8B semantic search 0.049 [0.038, 0.061] 0.132 [0.093, 0.169]
TrackStar (no optimizer correction, projection 64) 0.045 [0.036, 0.055] 0.270 [0.240, 0.295]
TRAK (8-model ensemble) 0.032 [0.024, 0.040] 0.138 [0.111, 0.165]
SOURCE (Adam) 0.024 [0.018, 0.030] 0.154 [0.126, 0.181]
Gradient cosine similarity 0.021 [0.016, 0.027] 0.156 [0.131, 0.181]
Activation similarity 0.000 [-0.000, 0.001] 0.110 [0.070, 0.149]

公開元による指標の解説によると、LDS（Linear datamodeling score）は影響度によるグローバルなデータ順位付け手法の精度を示し、QLD（Query loss difference）は影響度上位1%のデータをランダム除外基準と比較して除外再学習した際に、ホールドアウトされたクエリに対するモデル損失がどれだけ増加するかを示します。

表のスコアによると、MAGICがProponent QLDで0.100 [0.090, 0.112]、LDSで0.931 [0.925, 0.936]を記録し、すべての手法の中で最も高い値となっています。一方、Activation similarityはProponent QLDが0.000 [-0.000, 0.001]、LDSが0.110 [0.070, 0.149]と最も低い結果となっています。また、EK-FACとEigenvalue-corrected ShampooのProponent QLDはそれぞれ0.070と0.071であり、僅差となっています。

なお、リポジトリに含まれるファイル構成について、モデルカードでは以下の対応表が示されています。

path what it is
exported/checkpoint-72/ the final model, scored by every leaderboard method
exported/checkpoint-{12,24,36,48,60}/ interval checkpoints with optimizer.pt, used by SOURCE and the checkpoint-averaged variants
optimizer.pt, config.yaml final AdamW second moments (TrackStar-Adam) and the training config
trak_ensemble/s{0..3}_subset_{0,1}/ the eight GPT-2 models trained on independent random 50% subsets for the TRAK row (trak_ensemble/train_s*.yaml)

得意なこと・想定用途

モデルカードおよびメタデータによると、本モデルは学習データ帰属（training-data-attribution）、影響度関数（influence-functions）、モデル解釈可能性（interpretability）に関する用途を想定して公開されています。

特定タスク向けの汎用対話やコーディングを行うためのモデルではなく、bergson leaderboardにおいて各データ帰属手法がモデルに及ぼす影響を計測・比較するための基準モデルとして設計されています。再学習バンクやスコア結果一式は、関連データセットの EleutherAI/bergson-wikitext-gpt2-leaderboard-bank にて提供されています。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB そのままの精度 6.5GB 7.8GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

入手方法

本モデルはHugging Faceからダウンロード可能です。配布形式にはsafetensorsが含まれており、リポジトリのゲート（gated）設定は無いため事前の利用申請や同意手続きなしで取得できます。

関連記事

出典

新モデルbergson,EleutherAI,GPT-2,データ帰属,ベンチマーク,確認済み