長い文章をAIに読ませる『要領よい』新方式、75%圧縮でも精度維持

『埋め込み層』って、AIの内部のどこにあるもの？脳みそで言うと、どの部分を指してるんだっけ？

埋め込み層は、AI が言葉を受け取った直後の、最初の「翻訳機構」だと思うと分かりやすいです。人間が耳で音を聞いて脳に送るのと似ていて、AI も文字を数字に変換する必要があるんですよね。その変換が埋め込み層で起きている。 脳に例えると、感覚皮質の入口あたり。視覚野や聴覚野が外界の信号を脳が理解できる形に変換するのと同じく、埋め込み層は「猫」という文字を、AI の内部で意味を持つ数字の並びに変える場所です。その数字の並びを「ベクトル」と呼ぶんですが、これが AI の思考空間そのもの。 記事の手法は、この入口の段階で「似た意味の単語たちを近い数字に集める」という工夫をしてから、後ろの処理層に送るということ。つまり脳に入ってくる情報を、最初から「要点だけ濃く」した状態にしてしまう。だから計算が軽くなるわけです。埋め込み層は AI にとって、外の世界との接点であり、同時に思考の入り口でもあるということになります。

ChatGPT に長い契約書や論文を読ませるときって、今は何か制限があるの？この技術ができると、自分たちの使い方で何が変わるの？

今のChatGPTにも長文は読めるんですが、制限は二つあります。一つは速度。1000語と10000語では処理時間と計算コストが大きく違う。もう一つは精度。長くなるほど、文章の後ろの方の内容を「忘れる」傾向が出てくるんです。人間が長編小説を読んで序盤を忘れるのと似てますね。 この圧縮技術が実用化されると、個人の使い方で変わるのは「気軽さ」だと思います。今は100ページの書類を読ませるのに、分割したり、要点をまとめて渡したり、という手間がある。それが「丸ごと突っ込める」に変わる。契約書の細かい条項を全部読ませて矛盾を指摘させるとか、論文の参考文献まで含めて全体像を把握させるとか。制限がゆるまると、AIを使う心理的ハードルが下がるんじゃないかと思います。ただ、その先には「本当にAIが理解してるのか」という別の問題が出てくるのかもしれません。

長い文章の処理が遅いのは、ずっと前から言語モデルの課題だったんだ。これまではなぜ、『単語をまとめる』という今回のやり方に気づかなかったの？

「単語をまとめる」というアプローチは、実は昔から言語学やNLP の世界に存在してた発想なんですよね。でも大規模言語モデルの時代には、その有効性を信じられない状況があったんだと思います。 というのは、ここ数年の AI の成功は「より多くのデータ、より大きなモデル、より精密な計算」という方向に傾いてきたから。トークン単位で細かく処理すれば精度が上がるはずだ、という暗黙の前提がありました。意味空間で先読みして圧縮する手法は「情報をこっそり捨てるのでは」という不安もあったでしょう。 けれど今回の論文が 75% 削減でも精度を保つことを示したことで、その前提が揺らぎ始めたわけです。つまり、単語の細かさよりも「意味のまとまり」を認識する方が、実は効率的かもしれない、という気づきが形になった。昔の直感と今の実験結果が出会ったようなタイミングに見えます。言語モデルが十分に賢くなったからこそ、余計な細粒度は削ぎ落とせるようになった、という逆転現象なのかもしれません。

『計算量が二乗で増える問題』って、AIだけじゃなく、コンピュータ全般で何度も出てくる根本的な課題なのか？

本当にそうですね。この「二乗問題」はコンピュータの歴史で何度も立ちはだかってきた関門です。 ネットワークを設計するとき、接点の数が増えると接続数は二乗で膨らむ。データベースの検索も、比較対象が増えれば二乗に近い計算量になる。ソフトウェアのテストだって、変数が増えるたびに組み合わせパターンが爆発する。コンピュータは「すべての可能性を確認する」という宿命を背負ってるから、どの領域でも二乗問題に直面するんです。 ただ、AI の言語モデルはこの問題が特に痛いんですよ。従来のタスクなら、データを小分けにしたり、諦めて近似値で妥協したりできます。でも AI は「文章全体の意味を理解する」という要求に応えるために、どうしても全単語間の関係を見る必要がある。そこが他の領域とは違う厳しさなのかもしれません。 この論文の圧縮方法は、根本的には「完全に確認する代わりに、似た意味のものは一緒に扱う」という戦略です。二乗問題そのものを消すのではなく、計算対象を減らして「ちょうどいい精度で」乗り切る。コンピュータ史上、何度も繰り返されてきた対処法と言えそうです。

文章を圧縮しても理解度が落ちないってことは、人間が読むなら、そもそも75%の内容は『なくても大丈夫』ってことなのかな？

いい疑問ですね、という前置きはさておき。 実は逆で、削られている25%は「なくても大丈夫」ではなく、「AIの処理方式に合わせると冗長に見える」という違いなんですよね。 人間が文章を読むとき、「これは良い商品です」という5語を、ひとまとめに「肯定評価」として脳に入れています。でもAIは従来、この5語を全部別々に処理して、単語同士の関係性を一つずつ計算していた。だから圧縮手法は、その「別々に計算する無駄」を省いているわけです。 人間にとって75%削るのは意味不明ですが、AIにとっての「処理の重さ」の軸と、「情報量の多さ」の軸は別ものなのかもしれません。100ページの書類も、AIからすると「繰り返しや言い換えがたくさんある自然言語」というだけで、実質的に伝わる情報量はもっと少ないということもあり得ます。 つまり圧縮されたAIは「余計な計算を減らした」のであって、「大事な内容を捨てた」わけではない。人間とAIの効率の良さが、別の場所にあるのかもしれません。