AI は投資戦略を書けるのか、新しい評価基準で実験

「QuantCode-Bench」って、普通のプログラミングテストと何が違うの？

普通のプログラミングテストって、コードが動けばオッケーなんですよね。構文エラーがなく、入出力が合ってればクリア。でも投資戦略は、動くだけじゃ全然足りない。実際に損するかもしれないコードを「正解」として返すわけにいかないんです。 QuantCode-Bench が調べるのは、AI が書いたコードで実際に過去のデータを使ってシミュレーション取引をしたとき、利益が出るかどうか。つまり現実と繋がってる。そこまで含めて初めて「正しい戦略を理解できたのか」を判定する。 もっと言うと、ふつうのテストは「仕様書の指示通りに動くか」を見ます。一方、投資戦略は「書き手の頭にある戦略思想を、AI がどこまで読み取ったか」まで問うてる。同じ文章から、人間なら「ボリンジャーバンドが上に突破したら買う」という意図を掴めますが、AI はそこで躓きやすい。文法より、意図の理解度を試す評価システムになってるわけです。

AI が投資戦略を書けるようになったら、個人投資家が使えるツールになるってこと？それとも専門家向け？

論文が指摘してる「何をさせるか」という課題が、実は個人投資家にとって最大の障壁になりそうです。 専門家は、AI が生成したコードを見た瞬間に「ここの API 呼び出しが間違ってる」「このロジックは市場変動に弱い」と判断できます。でも個人投資家にとって、AI が書いた戦略が本当に機能するのか見極めることは、ほぼ不可能。 コードが走ったからといって、それが稼げる戦略とは限らないんです。むしろ危ない。「AI が作ったから大丈夫」という過信のまま、生成されたコードをそのまま自分の資金で動かしてしまう。実際には金融知識と API の使い方の両方で落ちこぼれた戦略かもしれないのに。 個人向けツールになるには、AI が戦略を書くだけじゃなく、その戦略が「なぜこれで儲かるのか」を人間が納得できる形で説明する必要があります。今の AI にはそれができていない。だから当面は、プロが使う補助ツール、つまり下書きチェックの一段階に留まるのかもしれません。

なんで今このタイミングで、AI の投資戦略生成の限界を調べようという研究が出てきたの？

AI がコード生成で高い成績を出し始めたから、次は「本当に金がかかる領域で動くのか」という問い掛けが避けられなくなったんでしょう。 金融市場は、テストの点数が良いだけでは済まない世界です。バグが損失に直結する。だから、AI を実際の投資に使いたい企業や研究者の立場からすれば、「ChatGPT が書いた戦略で本当に金を動かせるのか」を知りたいのは自然な流れです。 同時に、ここ数年で言語モデルの性能が急速に上がったから、「もうできるんじゃないか」という期待も高まっていた時期でもあります。その期待と現実のギャップを埋めるために、きちんと測定する仕組みが必要になった。ベンチマーク が登場する時点というのは、多くの場合、「実務の現場では既に試行錯誤が起きているけど、客観的な評価基準がない」という歯がゆさが蓄積している証拠と言えそうです。

『何を言うべきか』より『何をさせるか』が難しい、って言い方は、AI の根本的な弱点を言ってる？他の分野でも同じパターンなの？

AI が言語を生成するのは得意だけど、その言葉を「実行可能な行動」に変えるのは難しい、というのは、実はかなり根本的な問題なんですよね。 投資戦略の場合、「下がったら買う」という説明文は簡単に言えますが、それを実装するには、どのチャートデータを使うのか、どの取引所の API か、手数料をどう扱うのか、という無数の具体的決定が必要です。AI はテキストレベルでは意図を理解しても、環境との相互作用が必要になると、途端に複雑性に負ける。 医療診断でも同じです。AI は「患者の症状テキストから病名を予測する」のは得意ですが、実際の治療方針を決める段階では、その患者の年齢、他の既往歴、社会的背景など、テキストには書かれていない現実の制約が次々出てきます。 つまり AI の弱点は、テキストの世界と物理的・制度的な現実のギャップを埋めることなんだと思う。投資にせよ医療にせよ、「知識」だけでなく「状況判断」「例外処理」が効いてくる領域ほど、AI は人間より怖いということかもしれません。

AI が投資戦略を作れないことは、逆に言うと人間の投資家には何か大事な『コツ』があるってことなんだろうか？

面白い問いの立て方ですね。ただ、逆説として見るなら、実は人間の投資家もこの問題の外にいるわけじゃないんです。 記事で AI が失敗した場面を見ると、「取引ロジックを正しく形にする」「意図を理解して行動する」という二つの段階があります。これって、人間の投資家も同じ構造で動いてるんですよ。 むしろ違うのは、人間は「その間に迷い」を挟むところかもしれません。戦略として完璧に設計できても、実際の取引では感情が働く。相場が想定と違う動きをしたとき、ロジックを無視したくなる衝動が生まれる。プロの投資家ほど、この「ロジックと現実のズレに耐える力」を磨いています。 AI が失敗するのは、実は そこじゃなくて、その手前の段階——説明を取引ロジックに翻訳する部分。人間なら経験や直感で「こういう意味だろう」と補完できるけど、AI にはそれがない。つまり人間にある「コツ」は、知識というより、曖昧さに対応する柔軟性かもしれません。正確さと柔軟性のバランスを、無意識に使い分けてるのかもしれないんですよ。