大規模AIモデルを『3ビット』に圧縮、精度ほぼ維持のコツ

『3ビット圧縮』って、要するにAIの脳をどのくらい小さくしてるってこと？

普通のAIモデルは、各パラメータ（計算の重み）を32ビットで保存されます。これを3ビットまで削る、つまり「10分の1以下のサイズ」にしてしまうという意味になります。 具体的に言うと、ChatGPTみたいなモデルは数千億のパラメータを持っているんですが、1個あたりのデータ容量を10分の1に圧縮すれば、全体としては数十ギガバイトあったものが数ギガバイト程度に。スマートフォンに入るサイズになってくるわけですね。 「3ビット」というのは、正確には「その値を256個の選択肢から1個選ぶ代わりに、8個の選択肢から1個選ぶ」という感じのイメージ。情報量でいえば、元の32分の1の量しか持たせない状態です。 ここが不思議なのは、これまで「そこまで削ると精度がガタッと落ちてしまう」というのが常識だったのに、新しいGSQという手法だと、削る際に「どの値を選ぶか」を賢く調整することで、情報損失をほぼ最小限にできてしまう、という話。脳を無理やり小さくするのではなく、「本当に必要な情報だけ効率よく小さく詰める」という工夫が生まれつつあるのかもしれません。

スマートフォンでChatGPTが軽く動くようになったら、クラウドに繋がなくても手元で質問に答えてもらえるってこと？

そう、理論的にはそういうことになります。ただ実際には、もう少し複雑な事情があります。 スマートフォンでChatGPTクラスのモデルが動けば、確かにオフライン環境で質問に答えてくれるようになる。でもそこで生じるのが「何が失われるか」という問題です。クラウド版ChatGPTは、インターネットを通じて最新情報を取得したり、複数ユーザーの学習結果を反映させたりしています。手元で動くモデルは、そうした「常に更新される知性」を持たない。つまり、学習が止まったある時点の知識しかない状態になります。 もう一つ。圧縮率3ビットというのは、元のモデルの精度を「ほぼ維持」するという表現ですが、「完全に同じ」ではありません。複雑な推論や最新の話題には弱くなる可能性があります。スマートフォンで手軽に動く利便性と、常にアップデートされるクラウドの精度。この二つを天秤にかけたとき、ユーザーやサービス提供者がどちらを選ぶのか。その選択が、今後のAI活用の分岐点になりそうです。

なぜ今、AIを圧縮する技術が急速に進んでるの？何か背景があるの？

AIの圧縮が急速に進んでいる理由って、スマートフォンやエッジデバイスで「今すぐ動かしたい」という現実的なニーズが急に出てきたからなんですよね。 ChatGPTが一般に広がって、クラウド上のAIを通すだけじゃなく、手元のデバイスで動く方が便利だと気づきはじめた。通信遅延がない、プライバシー的に安心、オフラインでも使える—こういう利点が見えてくると、「なんとか圧縮して入れたい」という動機が強くなる。企業もスマートフォンメーカーもユーザーも、みんな欲しくなるわけです。 もう一つは、GPT-4やLlama といったモデルが高性能になった一方で、サイズも巨大化してしまったこと。データセンターのGPUなら問題ないけれど、個人デバイスはメモリが限られている。そこにズレが生まれた。テクノロジーの進化の方向と、デバイスの現実のギャップを埋めるために、エンジニアが必死に知恵を絞ってるという状況に見えます。 つまり、今はAI企業とデバイスメーカーの両方が「オンデバイスAI」の実現を急いでる時期なのかもしれません。

これって『性能を落とさずに、システムを小さく』という、ソフトウェア全般でずっと続いてる課題の一つなの？

ソフトウェア全般の課題というより、AIモデル固有の厄介さがあります。 通常のプログラムを圧縮するのは、いわば「不要な部分を削ぎ落とす」作業。 でもAIモデルは違う。 重みというのは、各層の計算結果が次の層に影響を与える連鎖構造になってるんですよ。 1パラメータを丸めると、その誤差が波紋みたいに広がっていく。 だからこれまでの圧縮手法は、「精度の維持」と「計算量削減」を常にトレードオフとして扱ってきた。 複雑な手法ほど誤差を最小化できるけど、実装にいちいち手間がかかる。 GSQの工夫は、その「波紋の広がり方」を数学的に制御する部分にあります。 丸め方を最初から「損失が小さくなるように学習させる」というアプローチ。 つまり、余分な計算は足さずに、元々の丸め方そのものを賢くした。 一般的なソフト圧縮では得にくい視点と言えそうです。 AIならではの、微妙な精度損失をどう前倒しで防ぐかという問題なのかもしれません。

AIが小さく動くようになると、データセンターの負担は減るけど、逆に個人のスマートフォン側の電力消費は増えないの？

確かに見落としやすいポイントなんですが、スマートフォン側の電力消費は、むしろ *大幅に減る* 側に傾く可能性が高いです。 AIの計算量と電力消費は、ほぼ比例関係にあります。3ビット圧縮されたモデルは、元のモデルの100分の1以下のデータ量で動きます。演算回数も少なくなる。CPU やGPU が処理する量が減れば、それだけ電力を食わないわけです。 むしろ現状の問題は逆。スマートフォンで大規模モデルを動かそうとすると、データセンターのサーバーに問い合わせを送信して、結果を待つ間、通信モジュールが常時稼働する。この通信こそが、実は電力の大食らい。ネットワーク経由のやり取り、特に LTE や 5G は、計算よりもエネルギー効率が悪い側面があります。 圧縮により端末で直接実行できるようになれば、通信の往復がなくなり、その時間だけスマートフォンのラジオモジュールをオフにできる。むしろ全体の電力消費は下がる可能性が高いと言えそうです。