AI が「ルール」を目で見て理解し、プログラムに変える

『抽象的なルール』って、どこまでが抽象的で、どこからが具体的なの？信号の色の例だと分かりやすいけど、もっと複雑な場面だと？

抽象度の境界線は、「言葉に置き換えられるかどうか」にありそうです。 信号の色なら「赤は止まれ」と一文で済む。でも現実の交差点には、信号の色のほかに、時間帯や歩行者の有無や工事の有無が絡む。これらを全部含めて「ルール」にしようとすると、言葉で書きにくくなってくる。その瞬間から、人間にとってさえ「抽象度が上がった」状態になります。 この研究で面白いのは、AI が「実際に動くプログラム」に変換できるかどうかで、抽象度を測ってることです。つまり、プログラムに書き下ろせたら「それが具体的なルール」、書き下ろせなかったら「まだ抽象的すぎる」という判定が自動で生まれる。人間が「これは複雑だから抽象的」と感覚で言うのとは違って、実行可能性という客観的な基準が生まれるわけです。 だから、もっと複雑な場面ほど、「何がルールで何が例外か」という線引き自体が曖昧になる。AI が7割の精度しか出ていないのは、そういう曖昧さを拾い上げるところまで、まだ足りていないのかもしれません。

これができるようになると、日常生活で何が変わるの？例えば自動運転とか、業務の自動化とか、身の回りの何かが便利になるの？

自動運転や業務自動化に直結するというより、「ルールが曖昧な現場」が変わると考えた方が近いかもしれません。 例えば工場の検査作業。不良品の定義って、実は言葉にしづらいんですよね。「傷がある」じゃなくて「この角度の傷は許容、この深さは不合格」みたいな、経験者の目でしか判断できない暗黙知がある。いままでの自動化は「傷の深さ3ミリ以上はNG」と数値で明示する必要があった。でも研究の手法なら、検査員が実際に合格・不合格を振り分けている映像を見せれば、AI がその人の「目の判断基準」をルール化してくれる可能性がある。 同じ論理で、営業資料の整理、データ入力の優先順位付け、顧客対応のパターン判定といった「プロが暗黙的にやってる選別」が、ルール化しやすくなる。これまでは「そのやり方を言葉で説明してください」と詰められてた場面が、「画像や動画で見せてくれたら AI が学べますよ」に変わる感覚です。 精度が7割というのはまだ完全自動化には足りませんが、「人間が最終判断する前の下準備」として機能する段階には来てるのかもしれません。

これまで『ルール理解』と『プログラミング』が別々だった理由は何？両方やろうとすると、なぜ難しかったんだろう？

人間は「ルール」と「それを実行する手順」を、頭の中で自動的に繋ぎ合わせてます。「赤は止まれ」と理解したら、すぐに「アクセルから足を離す」という動作に変わる。でも AI には、その繋ぎ目がものすごく複雑なんです。 「ルール理解だけ」に特化させるなら、画像を見て「この絵は〇〇というルールだ」と分類するだけで済みます。「プログラミングだけ」なら、与えられたテンプレートに値を埋め込むだけでもいい。ところが両方をやるには、理解した抽象的なルールを、機械が実行できるステップに分解し、さらに「その分解が正しいか」を何度も確認する必要があります。 言い換えると、二つの異なる学習ゴールを同時に達成しようとしていたわけです。ルール認識の精度と、コード生成の精度。この両方を高めながら進むのは、人間が運転しながら同時に車を修理するようなもの。だからこれまでは片方ずつ、深掘りしていたのだと言えそうです。

『画像を見てルールを読み取り、それをプログラムに変える』って、要するに『人間が説明書を見て理解して、それを実行する』ってことと同じプロセスなの？

表面的には似てますが、中身は全然違うんですよね。 人間が説明書を読むときは、言語で既に書かれたルールを脳内で映像化して実行します。つまり「テキスト→理解→行動」。ところがこの研究の AI は「画像→ルール抽出→プログラム生成→実行検証→修正」という多段階を一度にやってる。 更に大事な差は、人間は一度理解したら応用が効きます。「赤は右」というルールを見たら、赤い別の物にも応用できる。でもこの AI は、訓練データにない複雑な組み合わせだと対応できない。11万問で訓練してようやく7割。人間なら説明書1枚で8割どころか9割以上対応する。 むしろ逆に考えると分かりやすいかもしれません。人間が「図を見てコードを書く」ときに、私たちは無意識に言語という翻訳層を経由している。AI はその翻訳層を持たず、パターンマッチングだけで一気に変換しようとしてる。だから同じゴールに見えても、辿る道筋が根本的に異なってるんじゃないでしょうか。

精度が7割ってことは、3割は失敗してるってこと。その失敗のパターンって、人間も同じような間違いをするの？それとも AI 独特の勘違い？

人間とAIの失敗は、多分別物ですね。 人間が「赤い物は右に、青い物は左に」というルールを3割失敗するなら、それは注意散漫や色の見分け間違いが主因でしょう。一方、このAIの失敗は、おそらく「ルールの外側」で起きている。 例えば、赤と青の組み合わせから「赤い物は右に」という『抽象化』は成功しても、「ただし5個以上集まったら逆」みたいな条件付きルールを見落とす、とか。あるいはプログラム化した段階で、画像から読み取ったルールと実行命令の間に齟齬が生まれる。人間なら「あ、条件を忘れた」と自覚できますが、AIはそこが見えていない可能性があります。 つまり、人間の失敗は「見間違い」であり、AIの失敗は「構造を掴み損ねる」のかもしれません。AIが得意なはずの「パターン抽出」なのに、複雑な階層構造を持つルールには、まだ脆さが残っているということかもしれません。