ニューラルネットワーク、『何でも近似できる』を数学で証明する

『万能近似定理』って、つまり『どんな形のカーブでも、ニューラルネットワークなら再現できる』ってこと？

ざっくりはそういうことですが、実務とはギャップがあるんですよね。 定理が言ってるのは「理論上、十分なユニット数があれば再現できる可能性がある」ということ。でも「十分」がどのくらい必要か、どうやって訓練するのかは別問題。たとえば、あるカーブを完璧に再現しようとして、ユニット数を1000個、1万個と増やし続けたら、その分だけ計算に時間がかかるし、データも膨大に必要になります。実際には「これくらいのユニット数で、実用的な精度に達する」という落としどころを探るしかない。 記事が最後に強調してるのは、その落としどころを「深さ」で解決できるという発見です。浅く広いネットワークより、深いネットワークなら、少ないユニット数で同じ仕事ができる。つまり、万能近似定理は「可能性の保証」に過ぎず、実際には「効率よく再現するにはどう設計するか」が現実の課題なのかもしれません。

この理論が証明されると、スマホのカメラの顔認識とか、日々使ってるAIの精度って、もっと良くなる可能性があるの？

万能近似定理は「理論的には可能」という門を開いた話なので、そこから実装まではかなり遠い道のりなんですよね。 顔認識の精度を左右するのは、実は層の深さ や ユニット数 よりも、訓練データの質、そもそもどういう特徴を学ぶのか、過学習をどう防ぐのか、といった別の問題の方が大きい。理論が「深い層なら少ないユニットで済む」と証明しても、現実には膨大な計算量と電力が必要だし、スマホという限られたリソースの中では、そもそも小さなモデルに圧縮することから始まります。 むしろ面白いのは逆方向で、理論的な発見が「こういう設計が本質的に効率的だ」と示すことで、スマホのカメラアプリ開発者たちが「では圧縮するならこう工夫しよう」と戦略を立てやすくなる、という間接的な恩恵の方が大きいと言えそうです。 直接的に明日の顔認識の精度が跳ね上がるわけではないけれど、長期的には設計の自由度と確実性が増す足掛かりになる、くらいの関係性だと考えて見当たらずというところかもしれません。

1980年代から研究されてるってことは、この40年ずっと『いつか証明できたらいいな』で進んでたってこと？それとも、ずっと証明されてたけど、詳しい内容を詰めてたの？

1980年代からずっと「証明済み」の状態だったけど、内容が深化してきた、という流れですね。 万能近似定理の基本的な主張――「十分なユニットがあればほぼどんな関数にも近づける」――は、実は1980年代の初期段階で既に数学的に証明されていました。だからAI研究者たちは、理論的な根拠を持ちながら深層学習に進んでいくことができた。 ただ、その証明は当時、かなり「緩い」ものだったんですよ。つまり「原理的には可能」は示しても、「具体的には何個のユニットが必要か」という定量的な答えは曖昧だった。極端に言えば「1000個でいいのか、1億個必要なのか」という実用的な問いに、数学は応えられていなかったわけです。 ここ10～20年で、その「具体性」を埋める理論が次々と出てきたということ。層を深くするとなぜ効率が上がるのか、その理由を数式で説明できるようになり、KANみたいな新しい設計も理論的に検証できるようになった。 証明から詳細化への40年、と捉えるのが実像に近いのかもしれません。

『層を深くすると効率が上がる』って、要するに『同じ仕事をするなら、たくさんの薄い層の方が、少ない厚い層より賢い』ってパターンなの？

層を深くするメリットって、実務的には「ネットワークのサイズを小さく保てる」という一点に集約されます。 想像しやすい比較をするなら、複雑な計算を紙と鉛筆で手作業でやるときのこと。一気に全部やろうとすると、中間結果を何度も何度も同じところに書き直さないといけなくなって、紙が汚れる。でも途中で一度立ち止まって「ここまでの結果を整理する」という段階を挟むと、情報が圧縮される。次の段階では、より少ない情報量で次へ進める。 ニューラルネットワークでも同じで、層を重ねることで「中間地点で一度情報を整理し直す」という効果が生まれます。浅いネットワークで同じ精度を出そうとすると、すべての情報を一度のステップで処理する必要があるから、ユニット数がどんどん膨らむ。層を重ねることで、各段階での「翻訳作業」が可能になり、結果的に少ないユニット数で済む。 だから「賢さ」というより「効率性」です。より少ないパラメータで表現できるということ自体が、モデルを軽くでき、学習時間も推論も速くなる。実務的には、この圧縮性が革新的だったと言えそうです。

ニューラルネットワークが『数学的に何でも近似できる』って証明されたことで、逆に『この方法では絶対できない』って限界が見えたことってあるんだろうか？

面白い視点ですね。証明されたことで逆に限界が浮かぶ、というのは。 実は万能近似定理が示すのは「理論上は可能」であって、「実務上の効率」ではないんです。つまり、あらゆる関数に近づけることは数学的に確かなんですが、そのために必要なネットワークのサイズが現実的でないケースが山ほど存在する。層が深いほど効率がいい、という発見はその裏返しで、逆に言えば「浅いネットワークでは、ある種の関数を学ぶのに法外な数のユニットが要る」という限界を数学的に証明したわけです。 もう一つ重要なのは、近似定理は「連続関数なら可能」という条件付きなこと。離散的な構造、組み合わせの最適化、論理的な推論といった問題は、ニューラルネットワークの得意領域ではない。これも証明を突き詰めることで見えてくる。 KAN のような新しい設計が出てくるのも、その制約を迂回しようとする試みと言えそうです。つまり「何でも」の証明が、同時に「こういう問題には向かない」という地図を与えてくれているのかもしれません。