大規模AI、必要な部品だけを先読みして高速化

「Mixture-of-Experts」って、何千個の小さなユニットを用意しておくって言うけど、従来のAIとどう違うの？

従来の大規模 AI は、全機能が常にメモリに詰め込まれた状態なんです。ChatGPT なら、数千億のパラメータ全部が一度に起動している。それに対して Mixture-of-Experts は、「今この瞬間に必要な機能だけ起動する」という設計思想が根本的に違う。 たとえるなら、従来型は図書館の本を全部机の上に積んで仕事をするようなもの。Mixture-of-Experts は、棚に本を置いておいて、必要になったら取ってくる方式。数千個のエキスパートというのは、そうした小分けにされた機能のこと。何か質問が来たときに、「この質問には数学が得意な部品と言語が得意な部品がいる」と判断して、その 2 つだけメモリに引っ張り出して働かせる。 スマートフォンやノート PC はメモリが限られているから、全部を同時に動かせない。だから必要なものだけを選んで動かす仕組みが必要になった。従来型はメモリが潤沢なサーバーでしか動かせなかったけど、この方式なら、必要な部品さえ事前に用意できれば、小さい端末でも動くようになるという話なんです。

メモリを 45% しか使わないで済むなら、古いスマートフォンでも ChatGPT みたいなAIがサクサク動くようになるってこと？

完全に「サクサク」かというと、そこまでではないんですよね。 記事だけからは明確ではありませんが、この技術が実現しているのは「メモリ容量を削減できた」という部分で、スマートフォン全体のボトルネックを解決したわけではない。古いスマートフォンの問題はメモリだけじゃなくて、CPU やバッテリー、ネットワーク速度も含まれます。 たとえば、フル搭載時の 8 割の速度という数字も、あくまで理想的な環境での測定。実際のスマートフォンでは、メモリ読み込みの最適化がうまくいっても、処理能力が追いつかなかったり、バッテリーが急速に減ったりする可能性がある。 ただ、大事な変化は起きています。数年前なら「スマートフォンで大規模 AI は非現実的」という前提があったのが、今は「限られたリソースで何割かまで実現できる」という段階に進んだ。古いスマートフォンが ChatGPT レベルを完全に走すのはまだ先でも、実用的な AI 体験が広がる足がかりにはなりそうです。

大規模 AI をスマートフォンで動かす工夫が『ここ数年とても重要』になったのは、何か理由があるの？

スマートフォンで AI を動かすことが重要になった背景には、クラウドへの依存を減らしたいという市場の圧力があります。 ChatGPT が登場した 2022 年以降、企業も個人も AI を「いつでも使いたい」という需要が急速に高まりました。ただ、毎回サーバーに問い合わせるモデルだと、通信遅延が生じたり、プライバシーデータを外に送ることになったり、インターネット接続できない環境では使えなくなる。特に企業側は「社内データを絶対にクラウドに上げたくない」という制約が強いです。 同時に、スマートフォンやノート PC の処理能力も着実に高まっていて、「手元の機器だけで AI を完結させられるなら、そっちのほうが速くて安全では」という現実的な選択肢が見えてきたんですよね。つまり、AI の浸透と、オンデバイス処理の技術的な可能性が同時に成熟したタイミングで、急に「スマートフォンで動かす」という課題が経営的にも技術的にも切実になったのだと言えそうです。

『次に何が必要か先読みする』って、要するに AI が自分の思考パターンを学んで最適化する、みたいなこと？

少し違う角度で考えると分かりやすいかもしれません。 AI 自身が「自分の思考パターンを学び直す」のではなく、プログラマーが「このモデルはどう動くか」の統計を事前に解析しておく、という感じです。 たとえば、ChatGPT が「こんにちは、今日の天気は」と読み始めたら、次は気象データを処理するエキスパートが確実に必要になる。こういった「入力パターンと次ステップの関係」を、モデルを実際に走らせる前に調べておく。そのデータをもとに「この文言が来たら、こいつら三つは絶対いる」という確度を予測する仕組みです。 AI が走行中に自分を最適化しているのではなく、メモリという「物理的な制約」を効率よく使うために、人間が事前に用意した予測ロジックが働いている。天気予報が「明日は雨」と言うのに、天気そのものが自分を学び直すわけではないのと同じですね。 つまり、縮小版のモデルを限られた機器で動かすための「チューニングの工夫」であって、AI の内部学習の話ではないということになります。

メモリを 45% しか使わないで 8 割の速度なら、残りの 2 割の速度を取り戻すのに、メモリの他に何が足りないの？

記事には明示されていませんが、その 2 割のギャップの原因を考えると、メモリだけじゃなく「予測の精度」と「入れ替え作業そのもの」の時間が影響してそうです。 SeqMoE は次に必要なエキスパートを統計的に予測しているわけですが、予測が外れたら？その時点で実際にメモリに読み込むまでの待ち時間が発生する。さらに、メモリに入り切らないから古い部品を新しい部品に入れ替える際にも、ディスク・ストレージとのやり取り時間がかかる。これらは「処理速度」の話であって、メモリ容量の問題ではないんですよね。 つまり、残りの 2 割は、予測の完全性と、部品の出し入れの高速化。AI のモデル自体を軽くする工夫も含まれているかもしれません。完全に 10 割の速度に達するには、予測の精度をさらに高めるか、メモリとストレージ間のアクセス速度が鍵になってきそうです。