AIコーダーが自分で問題を作って、それで自分を鍛える

『ExecCritic』って何？プログラム修正の新しい手法の名前なの？

ExecCritic は、プログラム修正 AI の精度を高めるための手法の名前です。記事に書かれているのは、その核となる発想——テスト作成と修正を別々の AI に担当させることで、「テストと修正が同時に間違える」という罠を避ける仕組みです。 具体的には、テスト作成専門の AI と修正専門の AI を別々に用意して、それぞれ独立した訓練を受けさせる。テスト AI は「本当に正しいコードと間違ったコードを見分けられるテストを作る」という課題で鍛えられ、修正 AI はそのテストを実行してヒントを得ながら、よりよいコードに直していく。二者の役割分担が、互いに相互監視する関係を生むわけです。 普通のプログラマーの現場でも、コードレビューはコードを書いた本人ではなく別の人がやるのが常識ですよね。それと同じ論理を AI に適用した——人間的な工夫が、データ学習時代の AI システムにも有効だということが実験で示されたのです。修正成功率が 61%から 73%に上がったというのは、その効果の証拠と言えそうです。

自分でコード書いてる人にとって、このAIの改善は何が変わるの？デバッグにかかる時間とか減るってこと？

デバッグ時間が減るというより、信頼感が変わるのかもしれません。 現在のAIコーダーの使い方って、書いてくれたコード＋「これで大丈夫か」という不安がセットなんですよね。修正を頼んでも「本当に直ってるのか」を自分で検証する手間が残る。ExecCriticのように役割分担したAIなら、テストがより厳密になるから、AIの修正結果を「ここまでならちゃんと検証されてる」という安心で受け入れられる確率が高まる。結果として、自分でコード書いてる人も「AIの提案を検証する時間」を減らせる。 もう一つは、複雑なバグほど顕著かもしれません。エッジケース（想定外の入力とか）を見落とすのは人間もAIも同じ。でも修正AIと検証AIが別だと、修正AIが見落とした穴を検証AIが別の視点で突く可能性が高まる。人間は1回の検証で気づけなかった不具合が、AIのクロスチェックで浮かぶ。その分、本当に直す時間が短くなると言えそうです。

プログラム修正AIが注目され始めたのは最近？それとも前からあって、今やっと問題が見えてきたってこと？

プログラム修正AIそのものは数年前からありますが、いま注目が集まってるのは、確度の問題が顕在化したからのように見えます。 生成AIが一般に使えるようになった2022年以降、プログラムを書くAI・直すAIが次々と登場しました。ただ初期段階では「動くコードを出してくれるだけで十分」という評価だったんですよね。バグがあっても人間が見直すという前提で。でも、AIが修正に自信を持って「これで完璧です」と判定し始めると、誰も検証しない状況が生まれてしまう。 記事の「同じAIが修正とテストを両方やると両方間違える」という罠は、AIの使われ方が『補助ツール』から『判定権を持つシステム』へシフトしたことで、急に深刻な問題として浮上したのかもしれません。精度が問題なく見えてなかったのではなく、精度が信頼できるかどうかが問い直されている段階と言えそうです。

『自分で出した問題で自分を採点する』ことの危険性って、プログラミングに限った話じゃなくて、AI全般にある構造的な課題なの？

プログラミングに限った話ではなく、AIが学習や評価に関わるあらゆる場面に潜む構造的な課題だと言えそうです。 たとえば画像認識AIが学習時に「この画像は猫です」と自分で判定し、その判定で自分を強化する。医療診断AIが患者データを分析して「この人は健康」と判断し、その判断が正しかったかを自分で検証する。こうした場面で、AIが「問題設定」と「自己採点」を同時にやってしまうと、同じバイアスで両方が歪む。 根本にあるのは、AIにとって『正解とは何か』が外部に定義されていないという問題です。人間なら「社会的合意」や「物理法則」という絶対的な基準があるけれど、AIが自分で作ったテストで自分を評価する場合、その基準まで自分で作ってしまう。循環論法の完成です。 ExecCritic の発想は、この循環を「二つのAIの衝突」で破ること。テスト係と修正係が別なら、どちらかの勘違いがもう一方に引っかかる確率が上がる。AIの精度向上は、意外と『内部の対立構造』に頼っているのかもしれません。

修正精度が61%から73%に上がるって聞くと良さそうだけど、逆にこの役割分担の仕組みの方が間違える可能性ってないの？

役割分担で逆に失敗する可能性、十分あります。 具体的には、テスト作成AIと修正AIが「同じ勘違い」をしていないかのチェック機構がないんですよね。たとえば、仕様書を読み違えた場合。テスト作成AIが「こういう動作が正しい」と誤解したテストを作り、修正AIがそれに合わせて間違った方向へコードを直してしまう。単一AIの同じ間違いより悪い結果になる可能性すらあります。 ただ記事を見ると、実験では成功率が61%から73%に上がっているのは事実で。なぜ起きているかというと、おそらく「異なる思考プロセスを持つ別個体だから、片方の間違いに気づきやすい」という副作用が働いているんだと思われます。完全に同期していない分、どちらかが「これは変だ」と引っかかる確率が高まる、と言えそうです。 つまり役割分担の強みは「正確さ」ではなく「矛盾を見つけやすさ」にあるのかもしれません。完璧ではない、でも単一より頑健になる。その違いは意外と大事です。