バイト単位で動作する言語モデル「Bolmo」および新チェックポイント公開

バイト単位で動作する言語モデル「Bolmo」および新チェックポイント公開

基本情報

項目 内容
公開元 Allen Institute for AI
公開日 2026-10-07
出典の種類 公開元の一次情報(Allen Institute for AIの公式ブログが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Allen Institute for AI(Ai2)が、byte-levelで動作する言語モデル「Bolmo」に関する研究論文をNatureに掲載したと発表しました。これに合わせて、Bolmoの元になったOlmo系列を超えて、Qwen 3 8BやLlama 3 8Bといった他のモデルファミリーにも同じ変換手法を適用した新しいチェックポイントをHugging Face上で公開しています。

Bolmoは2025年12月に発表されたオープンなbyte-level言語モデル群で、今回はその研究の学術的な裏付けと、適用範囲を広げた新モデルの公開が主眼です。あわせて、元のグローバルモデルを凍結したままbyte-level部分だけを学習した「Stage 1」チェックポイントも公開され、アーキテクチャを拡張・実験したい研究者向けの出発点として提供されています。

スペック

資料から判明している各モデルの名称とパラメータ規模は以下の通りです。

  • Bolmo 1B(Olmoをbyteify)
  • Bolmo 7B(Olmoをbyteify)
  • Bwen 8B(Qwen 3 8Bをbyteifyして作成)
  • BlamaLlama-B 8B(Llama 3 8Bをbyteifyして作成)
  • Stage 1チェックポイント(元のグローバルモデルを凍結し、byte-level部分のみを学習した中間段階のモデル)

アーキテクチャの詳細(MoEかDenseか)やコンテキスト長については、資料中に記載がないため省略します。これらのモデルは、subword(サブワード)の固定語彙に分割する従来の手法ではなく、コンピュータが文字を表現する際の基礎単位である「バイト」の列を直接処理する点が特徴です。Ai2はこの変換プロセスを「byteifying」と呼び、既存の有能なsubwordモデルを比較的短い追加学習でbyte-levelモデルへ変換する手法として説明しています。

性能

資料には数値を伴うベンチマーク表や構造化されたスコアは含まれていませんが、Ai2は以下のような定性的な評価結果を報告しています。

  • Bwen 8Bは「これまでで最も強力なbyteifyされたモデル」とされ、Ai2の集計評価スイート(aggregate evaluation suite)全体でBolmo 7Bを上回ったと報告されています。
  • Bwen 8BとBlamaLlama-B 8Bは、いずれも変換元となったQwen 3 8BおよびLlama 3 8Bの性能に近い水準に達した(close to matching)と報告されています。
  • Bolmo 1BとBolmo 7Bについては、「幅広いタスクにおいて強力なsubwordモデルと競合しうる、初の完全オープンなbyte-levelモデル」であるとAi2は位置づけています。

これらはいずれもAi2自身による評価結果であり、第三者による独立した検証結果ではない点に留意が必要です。具体的な数値スコアは公開資料からは確認できないため、比較表としての提示は控えます。全体として、byteify手法によって作られたモデルが元のsubwordモデルの性能にどこまで近づけるかを重視した評価であり、「元モデルに迫る性能を、追加学習というより低コストな手段で達成できるか」が検証の焦点になっていると言えます。

得意なこと・想定用途

Bolmoシリーズおよび今回公開されたbyteifiedモデル群は、従来のサブワード(subword)に基づく言語モデルが苦手としていた領域において、その特性を発揮することが期待されています。

一般的な言語モデルは、あらかじめ定義された固定語彙の塊(サブワード)にテキストを分割して処理します。このアプローチは広く成功を収めていますが、綴り(スペリング)の認識、珍しい文字列や希少な単語の処理、あるいは定義された語彙のチャンクにうまく当てはまらないテキストを扱う際に柔軟性を欠くという課題がありました。これに対してBolmoなどのバイトレベルモデルは、文字、句読点、記号などを表すコンピュータ本来のバイト列を直接処理します。これにより、固定語彙に縛られることなく、空白文字の扱いや多様な書記体系(writing systems)に至るまで、テキストのきめ細かな構造をより正確に把握できる点が強みとされています。

資料によれば、開発者や研究者によってすでに特定のタスクに向けた応用が始まっています。具体的な事例として、Bolmo 7Bをファインチューニングした「ロシア語から英語への詩および歌詞の翻訳(Russian-to-English poetry and lyric translation)」が挙げられています。詩や歌詞のように、文字単位の響きや微細な表記、特殊な言葉遣いが重視される領域において、バイトレベルのアプローチが実用的に活用されつつあります。

また、研究やモデル開発のプラットフォームとしての用途も想定されています。従来のバイトレベルモデルはサブワードモデルと同等の性能を達成するためにゼロからの学習が必要であり、計算コストの高さが大きな障壁となっていました。今回のbyteifying手法や公開されたStage 1チェックポイントを利用することで、研究者は莫大な学習コストを繰り返すことなく、新しいアーキテクチャの実験や機能拡張を行えます。すでに、バイトレベルモデル間での能力転移(transferring capabilities)に関する実験や、階層的なバイトアーキテクチャにおける処理効率と微細な文字理解とのトレードオフを検証する研究の基盤として利用され始めていると報告されています。

さらに、バイトという表現はテキストにとどまらずデジタルデータ全般の基礎表現であるため、将来的には画像や音声など他のモダリティを包括的に扱うマルチモーダルな基盤への応用も視野に入っています。

入手方法

今回発表された各モデルのチェックポイントは、Hugging Face上で公開されています。

公開されている主な成果物は以下の通りです。

  • Bolmo 1BおよびBolmo 7Bのチェックポイント
  • Qwen 3 8Bから変換されたBwen 8Bのチェックポイント
  • Llama 3 8Bから変換されたBlamaLlama-B 8Bのチェックポイント
  • 元のグローバルモデルを凍結したままbyte-levelコンポーネントを学習させたStage 1チェックポイント

研究者や開発者は、用途に応じて最終的なモデルだけでなく、アーキテクチャの実験や拡張の出発点としてStage 1チェックポイントを利用することも可能です。配布形式の詳細や動作エンジンの対応状況、利用規約への同意要否については、資料内に具体的な記載がありませんので、Hugging Face上の各リポジトリをご確認ください。

関連記事

出典