記号主義vs接続主義 — 60年論争の現在地
AIには「規則を書き下す派」と「例から重みを学ぶ派」という二つの部族があり、60年ずっと争ってきました。パーセプトロン本・エキスパートシステムの崩壊・誤差逆伝播の逆転劇をたどり、なぜ今のLLMが電卓を呼び文法に縛られているのか、その必然を1から解説します。
要点
- 記号主義は規則を書き、接続主義は例から重みを学ぶ。60年の論争はこの対立に尽きます。
- パーセプトロンは入力の重み付き和が閾値を超えたら発火する素子で、間違えたときだけ重みをずらして学習します。
- 単層パーセプトロンは直線1本で平面を分けることしかできず、XORは絶対に表現できません。
- 1986年に誤差逆伝播法が登場し、多層の重みを勾配で更新できるようになりました。
- 知覚と連想は接続主義の圧勝、検証と保証は記号主義が依然として強いのが現在地です。
レシピを書く人と、味を覚える人
誰かに料理を教える方法は、大きく2つあります。
ひとつはレシピを言葉で書き下すやり方です。「塩は3グラム、180度で20分、表面が色づいたら取り出す」。手順が明示されているので、その通りにやれば同じものができますし、失敗したときにどの行が悪かったのかを指さすことができます。
もうひとつは横で何度も作らせるやり方です。手順は教えません。作らせて、味見して、「もう少し塩」「火が強い」と言うだけ。何十回か繰り返すうちに、本人も説明できないまま手が覚えます。
この2つの教え方は、そのままAIの二大流派に対応します。前者が記号主義(symbolic AI)、後者が接続主義(connectionism)です。人工知能の60年は、この二つの部族がお互いを「そんなやり方では知能に届かない」と言い合ってきた歴史でした。
今はどう見ても後者の圧勝に見えます。ところが、その勝者であるLLMが、計算のたびに電卓を呼び出し、出力の形をJSONスキーマで縛られ、数学の証明では記号推論エンジンと組まされている。勝ったはずの側が、負けたはずの側の道具を手放していないのです。この記事はその理由を、論争の始まりから追いかけます。
記号主義 — 考えることは、記号を並べ替えること
1956年のダートマス会議で「人工知能」という言葉が生まれた頃、主役は記号主義でした。アレン・ニューウェルとハーバート・サイモンのLogic Theoristは、ラッセルとホワイトヘッドの『プリンキピア・マテマティカ』に載っている定理を、機械が自力で証明してみせました。人間が証明を思いつくのと同じことを、記号の書き換え規則の探索としてやってのけたわけです。
彼らは1976年のチューリング賞講演で、この立場を一文にまとめています。物理記号システムは、知的行動のための必要十分な手段である。噛み砕くと「世界を記号で表し、規則で並べ替え、良さそうな並べ方を探索する。それだけで知能は成立するし、知能があるならその中身は必ずそれだ」という主張です。
この立場の強みは、いま読んでも古びていません。規則が正しければ答えは確実に正しい。なぜその答えになったかを規則の連鎖として示せる。データがほとんど要らない。そして組み合わせで無限に新しいものを作れる。「太郎が花子を殴った」を理解できる仕組みは、規則に基づいている限り自動的に「花子が太郎を殴った」も理解できます。記号を組み替えるだけだからです。
接続主義 — 考えることは、つながりの強さ
対する接続主義は、規則ではなく脳の配線から出発します。1943年、マカロックとピッツが神経細胞を「入力の重み付き和が閾値を超えたら発火する素子」として数式化しました。1958年、フランク・ローゼンブラットはこれを学習するように仕立て、パーセプトロンと名付けます。Mark I Perceptronという実機まで作られ、当時のニュースは「自分で歩き、話し、見て、書く機械の萌芽」と報じました。
パーセプトロンの中身は驚くほど単純です。
式(1)は「入力 のそれぞれに重み を掛けて全部足し、下駄 を履かせて、正なら1・負なら0を出す」と言っているだけです。 が入力の各要素(画素の明るさなど)、 がその要素をどれだけ重視するか、 が「そもそも発火しやすいか」を決めるつまみです。
学習則も1行です。
が正解、 が今の出力、(イータ)が1回でどれだけ動かすかの歩幅です。正解と出力が一致していれば なので何も起きず、間違えたときだけ、間違えた向きに少しずらす。これだけで、線で分けられる問題なら必ず有限回で分け終わることが証明されています。
ここが記号主義との決定的な違いです。誰も規則を書いていない。例を見せただけで、重みという数値の集まりが規則の役目を引き受けている。
1969年、本が1冊出た
マービン・ミンスキーとシーモア・パパートの『Perceptrons: An Introduction to Computational Geometry』(MIT Press, 1969。1988年に増補版)は、この熱狂に数学で応えました。
彼らが持ち出したのは、たった2入力の排他的論理和(XOR)です。「どちらか一方だけが1のとき1、両方0か両方1のときは0」。
| XOR | ||
|---|---|---|
| 0 | 0 | 0 |
| 1 | 0 | 1 |
| 0 | 1 | 1 |
| 1 | 1 | 0 |
これが単層パーセプトロンで絶対に表現できないことは、3行で示せます。式(1)に4行を代入すると、、、、 が同時に成り立たなければなりません。真ん中の2つから かつ なので、 です。ところが なので 、つまり は正になる。最後の条件と矛盾します。
図で言えば当たり前の話です。単層パーセプトロンにできるのは平面に直線を1本引いて左右に分けることだけ。XORの4点は対角どうしが同じ色なので、どう引いても分かれません。
ただしこの本の本当の価値は、XORではなくその先にあります。彼らは「パーセプトロンが1度に見られる入力の範囲」をorderという量で定式化し、パリティ(1の個数が偶数か奇数か)を判定するには入力全体を一度に見る素子が要ること、そして図形がつながっているかを判定するにはorderがいくらでも大きくなることを証明しました。局所的な特徴の足し算では、大域的な性質は原理的に捉えられない。これは今日の畳み込みネットワークにも形を変えて残っている論点です。
多層にすればいいのでは、という反論は当然あります。ミンスキーとパパート自身がそれに触れていて、多層が原理的に強力なのは認めつつ、そこに学習則が存在しないことを指摘しました。そして「多層への拡張は不毛だろうという我々の直感を、検証するか棄却するかは重要な研究課題である」と書いています。
よく「この本が神経回路網研究を殺し、AIの冬を招いた」と語られますが、これは単純化しすぎです。資金の流れは複数の要因が絡んでいて、一冊の本に帰すのは無理があります。はっきりしているのは、指摘そのものは正しかったということです。多層に学習則がない。この宿題が解かれるまで、17年かかりました。
記号主義の黄金時代と、三つの壁
その17年は、記号主義の全盛期でした。1965年から始まったDENDRALは質量分析のスペクトルから分子構造を推定し、1970年代のMYCINは細菌感染症の診断と抗生物質の推奨を行い、専門医に匹敵する推奨を出すと評価されました(臨床には導入されませんでしたが)。1980年にDECが実運用したXCON(R1)は、VAXの注文構成をルールで組み立て、実際に費用を削減した最初期の商用エキスパートシステムです。日本の第五世代コンピュータプロジェクト(1982-1992)も、論理型言語を土台に据えた記号主義の国家的な賭けでした。
エドワード・ファイゲンバウムの標語は「力は知識にある」でした。賢い探索アルゴリズムではなく、専門家の知識をIF-THEN規則として何千本も詰め込むことが性能を生む、と。実際それは当たりました。ただし三つの壁に当たります。
壁1: 知識獲得ボトルネック。 専門家は自分の判断を説明できません。熟練工は不良品を一瞬で見分けますが、なぜ分かったかを規則に書き下せない。書けたつもりの規則は、たいてい本人の実際の判断と食い違っています。知識をルールに変換する作業そのものが、システム構築の最大コストになりました。
壁2: 組み合わせ爆発。 ルールが増えると、ルール同士の相互作用は本数の2乗で増え、探索すべき状態の数は深さに対して指数関数的に増えます。「もう少し速いマシンを待てばいい」という話にならないのが指数関数の恐ろしさです。
壁3: 脆さ(brittleness)。 ルールの想定範囲を1歩でも外れると、エキスパートシステムは「分かりません」ではなく堂々と無意味な答えを返します。人間なら「これは自分の専門外だ」と気づくところで、規則の連鎖は淡々と発火し続けるからです。
ダグラス・レナートが1984年に始めたCycは、この脆さに真正面から挑みました。常識を全部手で書けばいい、と。数百万規模の主張が人手で入力されましたが、それでも人間の常識の全域には届きませんでした。1980年代末にLISPマシン市場が崩れると、2度目のAIの冬が来ます。
接続主義の反撃 — 誤差逆伝播とスケール
1986年、ラメルハート・ヒントン・ウィリアムズがNatureに発表した誤差逆伝播法が、17年前の宿題に答えを出しました。出力の誤差を層から層へ逆向きに配分することで、多層の重みを勾配で更新できる。しかもこの論文が強調したのは計算手順よりも結果のほうで、隠れ層が誰にも指示されないまま「中間表現」を自分で作り出す、という点でした(数学的には1970年のリンナインマの逆モード自動微分、1974年のウェルボスの学位論文が先行しています)。
XORは隠れユニット2個であっさり解けます。詳しい仕組みはニューラルネットワークを1から実装するで追えます。
ただし1990年代の勝者は接続主義ではなく、サポートベクターマシンなどの手法でした。理由は単純で、データも計算も足りなかったからです。潮目が変わったのは2012年のImageNetで、以降は「大きくして、たくさん食わせる」が支配的な戦略になります。リッチ・サットンが2019年に書いた The Bitter Lesson はこの経験則を身も蓋もなく要約しています。人間の知識を手で埋め込む手法は短期的には勝つが、長期的には計算量を活かせる汎用的な手法に必ず負ける。
それで、決着したのか
していません。両陣営とも、相手に突きつけた宿題をまだ返してもらっていないからです。
接続主義への宿題は、1988年にフォーダーとパイリシンが投げた体系性(systematicity)の批判です。「太郎が花子を愛する」を理解できる者は、追加の学習なしに「花子が太郎を愛する」も理解できるはずだ。記号のシステムなら構造から自動的にそうなるが、分散表現ではそれが保証されない、と。ハーナッドの記号接地問題(1990)も似た角度からの指摘で、記号を別の記号で定義し続けても、辞書を辞書で引くだけで意味は生まれません。
そして現代の実証がここに合流します。桁数を増やした掛け算、何段も重ねた合成的な推論、数値や人名を差し替えただけの応用問題で、大規模モデルの正答率が不自然に落ちる現象が繰り返し報告されています。学習分布の内側では見事に補間するのに、少し外に出ると崩れる。この崩れ方の内部的な理由はハルシネーションの発生機構で扱っています。
一方の記号主義にも、返せていない宿題があります。世界をどうやって記号に切り分けるのか、誰も解けていないのです。「猫」という記号を扱う規則は書けても、目の前の画素の集まりが猫だと判定する部分は、結局のところ学習に頼るしかありませんでした。モラベックのパラドックス(論理は簡単、知覚と運動は難しい)が指しているのもここです。
つまり現在地はこうです。知覚と連想は接続主義の圧勝、検証と保証は記号主義が依然として強い。
ニューロシンボリック — 第3の道
ヘンリー・カウツが2020年のAAAI講演で整理したように、両者の組み合わせ方には何通りもの類型があります。ただし実務で出会う形は、ほぼ次の3つに落ち着きます。
1. ニューラルが記号器を呼ぶ(ツール利用)。 電卓、コードインタプリタ、SQL、SATソルバ、単位換算。モデルは「何を計算すべきか」を決めるだけで、計算そのものは確実な機械に外注します。LLMのfunction callingは、まさにこの形の量産版です。
2. 記号器がニューラルを呼ぶ(探索のヒューリスティック)。 AlphaGoは木探索という古典的な記号アルゴリズムの中に、次の一手の候補と局面の良し悪しを見積もるニューラルネットを差し込みました。DeepMindのAlphaGeometryも同じ骨格で、言語モデルが「補助線を引く」候補を提案し、記号推論エンジンが厳密に証明を進めます。候補の思いつきは神経側、正しさの担保は記号側という役割分担です。
3. 記号がニューラルを縛る(制約付き生成)。 文法やJSONスキーマで、生成できるトークンを毎ステップ制限する方式です。出力の形式は100%保証され、中身は確率的なまま。実務でいちばん静かに広く使われているニューロシンボリックがこれです。
微分可能な論理プログラミング(DeepProbLogなど)のように、論理そのものを勾配で学習させる研究も活発ですが、現場の比率でいえば上の3つが圧倒的です。付け加えると、外部の知識ベースを引いてから答えるRAGも、広い意味ではこの系譜に入ります(グラフRAGは記号側の構造をより強く使う変種です)。
現場ではこう使う
誰が、いつ触るか。 LLMアプリケーションの開発者が、モデルの出力を下流のシステムに流し込む設計をするときに、この境界線を毎回引くことになります。「どこまでをモデルに任せ、どこからを確実な機械に渡すか」の判断そのものが設計作業です。
触るパラメータ・ツール名。 出力形式の保証には構造化出力(structured outputs)や文法制約デコーディングを使います。llama.cppのGBNF文法、Outlines、guidance、vLLMのguided decodingあたりが代表格です。計算・日付・単位換算はfunction calling / tool useで外に出します。業務ルールはルールエンジンや決定表、あるいは素直にSQLへ。知識グラフを併用する場合は、エンティティの正規化とリンクを記号側、自然言語の解釈を神経側に置くのが基本の切り分けです。
知らないと事故になる落とし穴。
- 「プロンプトでJSONを指定した=保証された」ではありません。 これは制約ではなくお願いです。出力が長いほど破れます。最低限パーサでの検証とリトライ、可能なら文法でトークンをマスクする本物の制約を入れてください。
- ツールを足すと、失敗モードが移動します。 「間違った答えを返す」から「間違った引数でツールを呼ぶ」へ。引数のスキーマ検証と、ツール側のエラーをモデルが読める形で返す設計をセットで用意しないと、静かに間違った計算結果が下流へ流れます。
- ルールを2箇所に置かない。 料金計算や与信の条件を決定表とプロンプトの両方に書くと、片方だけ更新されて食い違います。ルールの正本は1箇所に置き、プロンプトには入れない。
- 「記号を足せば説明可能になる」は半分だけ本当です。 説明できるのはツールを呼んだ後の処理であって、なぜそのツールをその引数で呼んだのかはモデルの内部のままです。監査要件があるなら、判定そのものをルール側に持っていく必要があります。
面接や設計レビューで問われる形。 「LLMに四則演算をさせるべきか」——させない。理由は、桁上がりを含む多段の合成が学習分布の外で崩れやすく、しかも崩れ方が自信満々だからです。代わりにツール呼び出しへ。「XORが単層で解けない理由を説明せよ」——線形分離不可能だから。上の3行の背理法がそのまま答えになります。
まとめ
- 記号主義は規則を書く、接続主義は例から重みを学ぶ。60年の論争はこの一行の対立に尽きます
- 1969年の指摘は正しかった。ただしそれは「多層に学習則がない」ことについてであり、1986年に解かれました
- 接続主義が知覚と言語で圧勝した後も、検証・保証・組み合わせ的な厳密さは記号側に残っています
- 実用システムはほぼ全部ハイブリッドです。論争の焦点は「どちらが勝つか」から「どこに境界線を引くか」へ移りました
どちらの部族に属するかを決める必要はありません。目の前の1機能について、確実さが要るのか、柔らかさが要るのかを毎回決める。それが60年分の論争から受け取れる、いちばん実用的な結論です。
コメント
コメントにはログインが必要です