大規模言語モデル（LLM）の計算量は、扱う文章を2倍にすると約4倍に膨らむ。1万語の文章なら、一度の処理で約5,000万回の掛け算が走る。この「二次関数的な爆発」こそ、LLMが電力を食う最大の原因だ。
米スタートアップが「10年来のボトルネック」を突破したと主張
マイアミ拠点のAIスタートアップ、サブクアドラティック（Subquadratic）が先月ステルス（活動を伏せた状態）を脱し、LLMを10年近く制約してきた数学的なボトルネックを解いたと発表した。だが当初は自社測定のスコアしか示さず、業界の反応は冷ややかだった。
同社が打ち出したのは、SubQ（サブキュー）と呼ぶ新型のLLMである。従来のどのモデルより高速で安く、消費電力も大幅に少ないという。さらに、一度に処理できる文章量は一般的なモデルの最大12倍。数百件の文書やコードベース全体をまるごと読み込むような、データの重いタスクをこなせるとMIT Technology Reviewに語っている。しかもコーディングなどの主要タスクでは、グーグル・ディープマインドやOpenAI、アンソロピックの最高峰モデルにほぼ並ぶ性能を出すと主張する。
問題は、その証拠が乏しかったことだ。AI技術者のダン・マカティアはXで、業界の空気をこう要約した。「SubQはトランスフォーマー以来、最大のブレイクスルーか。さもなくばAI版セラノス（採血検査をめぐる虚偽で破綻した米新興企業）かのどちらかだ」。共同創業者で最高技術責任者のアレックス・ウィードンも、「健全な懐疑は予想していた」と認める。第三者のベンチマークを最初から添えていれば、疑念の多くは先回りして潰せただろうという。
LLMを縛る「数学的ボトルネック」の正体
ボトルネックの正体は、トランスフォーマーという仕組みが行う「デンスアテンション（密な注意機構）」にある。文章が長くなるほど計算量が二次関数的に跳ね上がり、膨大な電力を吸い込む。
トランスフォーマーは、いまのLLMの心臓部だ。ChatGPTをはじめ、今日のモデルはこの部品を何段も連ねて作られている。出発点は、グーグルの研究者が2017年に発表した「Attention Is All You Need（必要なのは注意機構だけ）」という論文だった。仕組みはこうだ。モデルは文章を単語（正確にはトークンと呼ばれる単位）に分け、それぞれに数値を割り当てる。そして文章全体の意味をつかむため、その数値を他のすべての数値と掛け合わせる。「『グレート・ギャツビー』を要約したいなら、最初の単語と最後の単語を一緒に見て、さらに他のあらゆる組み合わせも見なければならない」と、CEOのジャスティン・ダンジェルは説明する。
この掛け算が、文章が伸びるほど手に負えなくなる。円を描いて、縁に点を並べる様子を思い浮かべてほしい。点はトークン、点と点を結ぶ線が掛け算だ。点が5つなら線は10本。10個なら45本、20個なら190本へと膨れ上がる。単語数を2倍にすると計算量はおよそ4倍になり、1万語の文章では一度の処理で約5,000万回の掛け算が走る。LLMが「電力の大食らい」と呼ばれるのは、このためだ。
第三者検証は何を示したのか
サブクアドラティックは今月、他社のAIモデルを評価する企業Appen（アペン）による追加テストの結果を公開した。検証は、同社の速度と効率に関する主張をおおむね裏づけている。
「あれには本当に興奮した。彼らのアーキテクチャを検証できたから」と、Appenの生成AI研究ディレクター、ジャニーン・シナナン=シンは話す。「『うわ、これはゲームチェンジャーかもしれない』と思った。モデルは速度と非効率にいつも苦しんでいるから」。同時に彼女は釘も刺す。衝撃的な結果ほど、自分で言っているうちは信頼されにくい。だからこそ第三者の評価が要る、というわけだ。
ただし、最も大胆な主張までが認められたわけではない。評価に懐疑的な専門家デピューは、こう線を引く。「彼らは何か本物で有用なものを作ったのかもしれない。だが公開された証拠は、二次関数のアテンションのボトルネックを解いたという、より強い主張までは正当化しない」。SubQはあらゆる場面で既存のトップモデルを置き換えるものではない。それでも特定のタスクでは、桁違いの速度をわずかなコストで出せる可能性がある。評価は、まだ途中だ。
「トランスフォーマー後」の時代は来るのか
サブクアドラティックが描くのは、トランスフォーマーに頼らないLLMの未来だ。「数年後には、誰もトランスフォーマー上で開発していないだろう」とダンジェルは語る。
大きな野心の裏には、小さな企業の事情もある。「我々が狙うのは、効率の新しい時代の幕開けだ」とダンジェルは言う。一方でウィードンは、別のものを作るしかなかったと明かす。競争力のあるモデルを築くには、新しいアイデアが要る。「我々はOpenAIよりずっと追い詰められた立場にいる」。資金も知名度も乏しい挑戦者にとって、王道を外れることは選択ではなく必然だった。
もし検証が積み上がれば、AIの省エネ競争は新しい局面に入る。1万語で5,000万回という掛け算の重荷を誰かが軽くした日、「トランスフォーマー以来の革新」と「AI版セラノス」を隔てていた線が、ようやく引かれることになるのかもしれない。
