AI の推論を『二種類のチップ』で分担させると、消費電力が半減する

『サブクワドラティック注意』って、従来の注意機構と何が違うの？計算量が減るってどういう仕組み？

従来の注意機構は、入力されたすべての単語を、すべての単語と比較する仕組みです。100語あれば100×100、つまり1万回の比較が必要。単語数が増えるごとに、計算量が二乗で膨らんでいく。これが「クワドラティック（二次関数的）」と呼ばれる理由です。 サブクワドラティック注意は、この全比較をやめて、重要な部分だけに絞るんですよ。たとえば文章を処理するとき、実は各単語が「すべての単語」と関連しているわけではなく、近くの単語や特定のキーワードとだけ強く関連している。その性質を使って、比較する相手を限定する。すると100語でも数百回の比較で済むようになる。 結果として、計算量が二乗ではなく、ほぼ一次関数や対数関数に近い伸び方になる。データセンターで数十万語を一度に処理するときの違いは劇的です。記事で「計算量や必要なメモリを大幅に削減」と言われているのは、この仕組みのおかげ。電力消費も跳ね上がらないから、チップを工夫すればさらに効率化できる余地が生まれた、ということなんでしょう。

AI の電力消費が半減するって、スマートフォンや個人用 PC で走る AI モデルの話にも繋がるの？

スマートフォンや個人用PC での効果は、データセンターほどではないと考えられます。 この論文の工夫が活躍するのは「同じモデルを何千回、何万回も走らせる環境」だからです。データセンターは、ユーザーのリクエストを延々と処理し続ける。その際、1回あたりの電力を数パーセント改善できれば、月単位で見れば莫大な電気代削減につながる計算になります。 一方、スマートフォンで LLM を走らせるのは、今のところ限定的。ローカルで小さなモデルを動かすなら、すでに消費電力は最小限に抑えられている状態に近い。加えて、個人用デバイスは GPU と CPU の組み合わせがハード決まりされているので、「この処理に専用チップを足す」という自由度がありません。 ただし、スマートフォンに AI が組み込まれることが増えれば、バッテリーの持ちを少しでも延ばしたいというニーズは当然生まれます。その時は、この論文の考え方—「部品ごとに最適なチップを選ぶ」という発想—が、スマートフォンの設計思想にも少しずつ影響を与えていくかもしれません。

なぜ今まで『全部 GPU でやる』という設計が続いていたの？昔はそれが最適だったってこと？

昔の GPU 汎用化の波に乗ったというのが大きいですね。GPU は並列計算に強くて、どんな計算も引き受けられる「万能選手」だった。わざわざ複数のチップを組み合わせるより、一つの強い道具で全部やる方が、設計も製造も管理も簡単です。 けれど実は、昔の注意機構が「計算量が多く、メモリをたくさん使う」という特性だったから、GPU の得意領域だったんです。ガバガバ計算して、ガバガバメモリを消費する処理には、とにかく性能で押し切る GPU が有効だった。 ところが、ここ数年で『サブクワドラティック注意』という、計算量が少なくてメモリ効率も良い新しい仕組みが登場した。これは、GPU の強さを必ずしも必要としない。むしろ小さく軽い処理の集まりなので、それぞれに合った専用チップを使う方が無駄がない。 つまり、問題の性質が変わったのに、ハードウェアの設計だけが昔のままだったということ。トレンドに追いつくのは常に遅れるものですね。

これって『ハードウェアが新しい技術に対応できず、無駄が生まれていた』という話なのかな？

そうですね、その通りの側面もあります。ただ、もう一つの見方をすると「技術の進化と現場のズレ」という問題でもあるんです。 新しい注意機構は、計算量を減らしているのに、それを受け取るハードウェア側は昔のままの設計。だから新しい特性（メモリへのアクセス効率など）が死んでしまっていた。これは無駄というより、いわば『せっかく軽くしたのに、重い道具で持ち運んでる状態』に近い。 つまり、ハードウェアが新技術に「対応していない」というより、ソフトウェア側が先に進んでしまったのに、インフラ設計がそれに追いついていなかったわけです。ここ数年、AI の進化が異常に速いから、こういうズレが生まれやすい。 逆に言えば、その隙間を埋めるだけで電力が半分になるというのは、次の進化も同じかもしれません。今は『二種類のチップ』が最適ですが、さらに新しい構造が出てくれば、また別の最適化が見つかるはずです。技術と現場が常に追いかけっこしてる状態、と言えそうです。

電力が半減すれば企業のコスト削減になるけど、現在 GPU メーカーに依存してる人たちには影響ないの？

GPU メーカーには確実に影響が来そうです。ただ、それは「GPU が不要になる」というより「購入の構成が変わる」という形かもしれません。 現状、データセンターはエンビディアの高性能 GPU を大量に買っています。電力が半減するなら、同じ性能を出すのに必要な GPU の台数も減ります。単純計算で、購入量が 30〜50% 下がる可能性もある。これは売上への直撃です。 ただ同時に、新しい専用チップの設計・製造が必要になる。現在のエンビディアなど GPU メーカーも「自社の専用チップ」を作ることで対抗する道は残っています。実際、アップルやテスラも独自チップを開発している流れがあります。問題は、その切り替えまでの過渡期。レガシーな GPU 依存から抜け出す企業が増えるほど、既得権者への風当たりは強まるのかもしれません。 つまり、GPU メーカーが「万能な道具」から「特定用途の道具」へ降格することになれば、業界の力関係そのものが再編される局面に入ったと言えそうです。