EleutherAI/pythia-160m-weight-seed2-corrected: 修正版重み初期化モデル

EleutherAI/pythia-160m-weight-seed2-corrected: 修正版重み初期化モデル

基本情報

項目 内容
リポジトリ EleutherAI/pythia-160m-weight-seed2-corrected
公開元のまとめ EleutherAI のモデルとライセンスのまとめ
公開日 2026-11-02
ライセンス apache-2.0
配布形式 PyTorch (bin)
出典の種類 公開元の一次情報(公式HFリポジトリの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

EleutherAIより、Pythiaシリーズの修正版モデルである EleutherAI/pythia-160m-weight-seed2-corrected が公開されました。

本モデルは、オリジナルのPythiaにおける訓練データの提示順序を固定したまま、シード値2(seed-2)を用いた独立した重み初期化から新たに訓練されたモデルです。

以前リリースされていた重みシード(weight-seed)版のモデルには訓練上の不具合が存在していました。不正確なAdamオプティマイザバッファを保持したままオリジナルのPythiaの重みから処理を継続してしまっていたため、実際には初期化の変更が行われていませんでした。今回のリリースではこの訓練エラーが修正され、本来意図されていた独立した初期化による実験環境が正しく提供されています。

訓練はThe Pileデータセットを使用し、グローバルバッチサイズ1,024シーケンス、コンテキスト長2,048トークンの設定で143,000ステップにわたって行われました。また、step 0からstep 143,000までの全154個のチェックポイントがステップリビジョンとして公開されており、本モデルリビジョンは最終段階であるstep 143000のチェックポイントを含んでいます。

スペック

  • パラメータ数: 160M
  • アーキテクチャ: GPTNeoXForCausalLM (gpt_neox)
  • コンテキスト長: 2,048トークン

得意なこと・想定用途

本モデルは、言語モデルの事前学習における重み初期化(乱数シード)の影響や、学習の再現性(reproducibility)に関する評価・検証を行う研究用途を主な対象としています。

モデルカードの記述や付与されているタグ(reproducibility、en など)が示す通り、実作業や実サービスでの高度なタスク処理を目的とした汎用言語モデルではなく、LLMの挙動解明や学習プロセスの分析に向けた実験用モデルです。オリジナル版のPythiaモデルと全く同じ学習データ提示順序(The Pile)を保持しつつ、独立したシード2(seed-2)の設定で重みを初期化して学習されています。これにより、学習データの順序条件を一定に保ったまま、初期化状態の違いのみがモデルの性能や獲得される表現にどのような差をもたらすかを正しく比較検証することができます。

特に本リリースは、過去の重みシード版で発生していた訓練エラーの修正版として公開されています。以前のバージョンではAdamオプティマイザのバッファが不正確に残されたままオリジナルのPythiaの重みから学習が継続されていたため、実質的に初期化の変更が行われていませんでした。今回のリリースによって本来意図されていた独立した初期化実験環境が正しく再現されており、初期化の影響に関する正確なデータ収集や分析が可能となっています。

さらに、最終ステップである step 143000 のモデル本体だけでなく、学習開始時である step 0 から step 143,000 に至るまでの全154個のチェックポイントがステップリビジョンとして保存・提供されています。これにより、単に学習完了後の最終性能を評価するだけでなく、学習の進行ステップごとにモデルのパラメータや表現がどのように推移・変化していくかという学習ダイナミクスを細かく追跡する実験にも適しています。

なお、パラメータ数は160M(1億6,000万)の小規模なモデル構成となっており、複雑な理由付けやコード生成、対話タスクなどでの高度な実用性能を期待するモデルではありません。あくまで再現性研究や学習アルゴリズムの挙動分析を目的とした利用が想定されています。

入手方法

EleutherAI/pythia-160m-weight-seed2-corrected は、Hugging Face Hubにて公開・配布されています。

ライセンスには Apache 2.0(apache-2.0)が設定されています。利用規約への同意手続きや事前申請などを必要とするアクセス制限(gated)は設けられておらず、誰でも直接アクセスしてモデルデータをダウンロードすることができます。

モデルの配布形式は PyTorch 形式(PyTorch (bin))に対応しており、Hugging Faceの transformers ライブラリをはじめとする標準的なフレームワークを用いて読み込むことが可能です。

また、標準で提供されている最終段階の step 143000 のチェックポイントに加えて、リビジョン(revision)機能を指定してダウンロードを行うことで、step 0 から step 143,000 までの全154個のチェックポイントを個別に選択して入手することができます。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は PyTorch (bin) のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

関連記事

次に読むなら

出典