EleutherAI、データ帰属の基準モデル「bergson-wikitext-gpt2-leaderboard」公開

2026年9月30日

EleutherAI、データ帰属の基準モデル「bergson-wikitext-gpt2-leaderboard」公開

基本情報

項目 内容
リポジトリ EleutherAI/bergson-wikitext-gpt2-leaderboard
公開元のまとめ EleutherAI のモデルとライセンスのまとめ
公開日 2026-09-15
ライセンス apache-2.0
配布形式 safetensors
論文 arXiv:2303.14186
出典の種類 公開元の一次情報(EleutherAI公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

EleutherAIより、学習データ帰属（training data attribution）のベンチマーク「bergson leaderboard」の基準モデル「EleutherAI/bergson-wikitext-gpt2-leaderboard」が公開されました。

本モデルは、openai-community/gpt2をベースに、WikiTextデータセットの4,608チャンク（EleutherAI/bergson-wikitext-512-chunks）を用いて4エポックのファインチューニングを行ったものです。モデルカードによると、ホールドアウト損失（Held-out loss）は3.545から3.111へ低下しています。

スペック

  • ベースモデル: openai-community/gpt2
  • ライセンス: apache-2.0

性能

モデルカードでは、各種のデータ帰属手法を評価したbergson leaderboardのスコアが公表されています。掲載されている表は以下の通りです。

Method Proponent QLD [95% CI] LDS [95% CI]
MAGIC 0.100 [0.090, 0.112] 0.931 [0.925, 0.936]
Eigenvalue-corrected Shampoo 0.071 [0.060, 0.082] 0.517 [0.491, 0.539]
EK-FAC 0.070 [0.058, 0.082] 0.454 [0.426, 0.479]
KFAC 0.067 [0.056, 0.080] 0.420 [0.391, 0.446]
BM25 0.062 [0.048, 0.076] 0.220 [0.185, 0.252]
Qwen3-Embedding-8B semantic search 0.049 [0.038, 0.061] 0.132 [0.093, 0.169]
TrackStar (no optimizer correction, projection 64) 0.045 [0.036, 0.055] 0.270 [0.240, 0.295]
TRAK (8-model ensemble) 0.032 [0.024, 0.040] 0.138 [0.111, 0.165]
SOURCE (Adam) 0.024 [0.018, 0.030] 0.154 [0.126, 0.181]
Gradient cosine similarity 0.021 [0.016, 0.027] 0.156 [0.131, 0.181]
Activation similarity 0.000 [-0.000, 0.001] 0.110 [0.070, 0.149]

公開元による指標の解説によると、LDS（Linear datamodeling score）は影響度によるグローバルなデータ順位付け手法の精度を示し、QLD（Query loss difference）は影響度上位1%のデータをランダム除外基準と比較して除外再学習した際に、ホールドアウトされたクエリに対するモデル損失がどれだけ増加するかを示します。

表のスコアによると、MAGICがProponent QLDで0.100 [0.090, 0.112]、LDSで0.931 [0.925, 0.936]を記録し、すべての手法の中で最も高い値となっています。一方、Activation similarityはProponent QLDが0.000 [-0.000, 0.001]、LDSが0.110 [0.070, 0.149]と最も低い結果となっています。また、EK-FACとEigenvalue-corrected ShampooのProponent QLDはそれぞれ0.070と0.071であり、僅差となっています。

なお、リポジトリに含まれるファイル構成について、モデルカードでは以下の対応表が示されています。

path what it is
exported/checkpoint-72/ the final model, scored by every leaderboard method
exported/checkpoint-{12,24,36,48,60}/ interval checkpoints with optimizer.pt, used by SOURCE and the checkpoint-averaged variants
optimizer.pt, config.yaml final AdamW second moments (TrackStar-Adam) and the training config
trak_ensemble/s{0..3}_subset_{0,1}/ the eight GPT-2 models trained on independent random 50% subsets for the TRAK row (trak_ensemble/train_s*.yaml)

得意なこと・想定用途

モデルカードおよびメタデータによると、本モデルは学習データ帰属（training-data-attribution）、影響度関数（influence-functions）、モデル解釈可能性（interpretability）に関する用途を想定して公開されています。

特定タスク向けの汎用対話やコーディングを行うためのモデルではなく、bergson leaderboardにおいて各データ帰属手法がモデルに及ぼす影響を計測・比較するための基準モデルとして設計されています。再学習バンクやスコア結果一式は、関連データセットの EleutherAI/bergson-wikitext-gpt2-leaderboard-bank にて提供されています。

入手方法

本モデルはHugging Faceからダウンロード可能です。配布形式にはsafetensorsが含まれており、リポジトリのゲート（gated）設定は無いため事前の利用申請や同意手続きなしで取得できます。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典

更新履歴

  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加

新モデルbergson,EleutherAI,GPT-2,データ帰属,ベンチマーク,確認済み