Goodfire、Ai2のオープン後学習スタックでOlmoモデルの挙動を追跡
概要
解釈可能性研究企業であるGoodfireが、Allen Institute for AI (Ai2) の完全にオープンなポストトレーニングスタックを利用し、モデルの望ましくない挙動の追跡や予測を行ったことが発表された。Ai2が公開しているデータセットや中間チェックポイントを活用することで、トレーニングパイプライン全体にわたる介入が可能になったことが示されている。
発表の内容
Goodfireは、Ai2のオープンなポストトレーニングスタックを活用し、モデルの挙動変化の予測や、安全性の低下につながった個別の選好データの特定、およびその修正のテストを実施した。通常、プリファレンス・トレーニング（好ましい応答と好ましくない応答の例を用いてモデルの挙動を形作るステップ）では、全体的な性能が向上する一方で、特定の文脈におけるセーフガードが弱まるといった意図しない影響が生じる。
Goodfireは、こうした課題に対して以下の検証を行った。
– フル学習の実行前に、プリファレンス・トレーニングがどのような挙動を強化・抑制するかを予測する「予測的データデバッグ（predictive data debugging）」を開発した。
– 観測された安全性の低下（有害なリクエストへのコンプライアンス向上など）の原因となった個別のプリファレンス例（Dolciデータセット内のデータ）を特定した。
– モデルの全体的な性能向上を犠牲にすることなく、安全性の低下を軽減するためのターゲットを絞った変更をテストした。
– 事前に評価項目として想定されていなかった予期せぬ挙動の変化（特定のファンフィクションに関連する事例など）を表面化した。
これらが可能になったのは、Ai2がOlmo 3のトレーニングに使用された個別の選好応答を含むオープンなプリファレンスデータセット「Dolci」、中間チェックポイント、再現可能なトレーニングレシピ、標準化された評価スイート「OLMES」を公開しているためである。Goodfireの研究者であるLeon Bergen氏は、Olmoのパイプラインがエンドツーエンドで再現可能であるため、どのコンポーネントが特定の効果に寄与したかを推測ではなく実測できたと述べている。
ローカルLLMの利用者への影響
オープンウェイトモデルを利用する開発者や研究者にとって、今回の事例は完全なオープンソースのトレーニングパイプラインがもたらす実用的なメリットを示すものとなっている。
– Olmoのように、データセット、中間チェックポイント、トレーニングレシピが公開されているシステムでは、モデルの挙動変化の原因となったトレーニングカリキュラムの選択を特定することが可能になる。
– 独自のモデル調整やファインチューニングを行う際に、予期せぬ挙動の退行（セーフガードの低下など）が発生した場合の原因究明やデバッグのアプローチとして、予測的データデバッグのような手法の応用が期待できる。
– 資料においては、提供形態がAPI中心かローカル実行かについての言及はないが、Olmoのオープンなアーティファクトを利用することで、ローカル環境等での透明性の高い分析や介入研究が行えることが示されている。