チューリングテストの限界

「考える」の定義を、問い直す

1950年、イギリスの数学者アラン・チューリングは、哲学誌Mindに一本の論文を投げた。冒頭の一文は、挑発的だった。「機械は考えることができるか」。そして次の段落で、彼はその問いを放棄する。「考える」という語の定義が曖昧すぎて、議論が進まないからだ。代わりに彼は、問いを別の問いに書き換えた。

チューリングが提案したのは「イミテーション・ゲームImitation Game（模倣ゲーム）チューリングが提案した判定ゲーム。元々は男女の判別を伴う設定だったが、現在は「人間とAI」の判別として読み替えられている。」と呼ばれる判定ゲームだった。審判審判(interrogator / 判定者)テストに参加する人間の判定者。「相手が人間かAIか」を当てる役割で、原典では「C」と呼ばれた。テストが何を測るかは、最終的にこの人間の判断にかかっている。記事中の「審判」はすべて生身の人間を指す。(=判定する側の人間)が別室から文字だけで会話し、相手が人間か機械かを当てる。もし機械が審判を十分に騙せたなら、そのとき我々は、この機械が「考えている」と認めてよい——これがチューリングテストTuring testチューリングが提案した、機械知能を行動的・外面的に判定する手法。内側の意識は問わず、会話での見分けがつかないことをもって合格とする。の原型である。

Alan Turing

British Mathematician / 1912–1954

Wikipedia

計算可能性理論の父。第二次大戦中、ブレッチリー・パークでエニグマ暗号の解読機「Bombe」の設計に関わった。戦後、思考と計算の関係を問う1950年論文を発表。41歳で自死。

Photo: Elliott & Fry, 1951 / Public Domain

なぜここでエニグマやBombeの写真が出てくるのか、戦時中の彼を書いておく。1939年、第二次大戦が始まった。ナチス・ドイツ軍はエニグマと呼ばれる暗号機で軍事通信を暗号化していた。歯車式のローター(円盤)を3〜4枚組み合わせて文字を入れ替える仕組みで、毎日鍵が変わるため、組み合わせは天文学的な数になる。当時、誰もが「エニグマは破れない」と信じていた。英国は暗号解読センターブレッチリー・パークを秘密裏に設立し、若い数学者たちを集める。チューリングは中心人物の一人として呼ばれた。27歳のときだ。

エニグマ暗号機(G型)。チューリングの知的履歴は、この機械と分かちがたく結びついている。1940年代、機械が人間の代わりに推論する現場を、彼は最初の職場にしていた。 Photo: Daderot / CC0(米国国立暗号博物館蔵)

この提案の巧妙さは、「考える」とは何かを定義しない点にある。チューリングは内面を問わなかった。意識があるか、本当に理解しているか、そんな議論は棚上げし、外から見える振る舞いだけを評価基準にした。これは当時としては徹底した機能主義機能主義（Functionalism）心を「物質的な実現」ではなく「機能的な役割」で定義する立場。同じ入出力関係を満たせば、生物だろうが機械だろうが「考えている」と見なす。的な提案だった。

チューリングの予言には、具体的な数字もあった。西暦2000年までには、記憶容量10⁹(=10億ビット、約120メガバイト相当。今のスマホの数百分の一)の計算機を使えば、5分間の会話で審判の誤認率を30%超にできるだろう——。この「30%」が、後に「テスト合格ライン」として独り歩きする。だが彼自身は、これを合格基準とは呼んでいない。単に、その頃には「考える機械」という表現が普通になっているだろう、という緩い予測だった。

この予言の確かさは、たぶん戦時中の経験から来ている。彼が設計に深く関わった暗号解読機Bombe(次の写真)は、電気機械式の装置で、ローターを高速で回転させながらエニグマの鍵候補を機械的に絞り込んだ。それまで数学者が黒板で手作業で行っていた論理的なふるい落としを、Bombe は桁違いの速度で代行する。歴史家の試算では、この解読作業は戦争を2〜4年短縮し、数百万の命を救ったとされる。功績は戦後しばらく機密扱いで、チューリングの中心的な役割が公にされたのは、彼の死後だった。

ブレッチリー・パークのBombe（1945年撮影)。チューリングが戦中に設計に関わった暗号解読機。機械が人間の代わりに推論・照合を大規模に行う最初の現場のひとつだった。 Photo: UK Government / Public Domain（1945）

戦時中の彼は、毎日機械が人間の仕事を肩代わりしている現場を見ていた。1950年の論文で「機械は考えるか」を問うたのは、机上の思考実験ではない。10年前から目の前で見ていた現実を、もう一歩先まで延長する作業だった。1952年、彼は同性愛(当時の英国では犯罪)で起訴され、化学的去勢を受ける。1954年6月、青酸カリで自死。41歳。Mind誌に書いた予言が実現していくのを、彼自身は見届けることなく終わった。

提案だけが残された。彼の死から12年後の1966年、MIT のジョセフ・ヴァイゼンバウムが「ELIZAELIZA（1966）Weizenbaumが開発した最初期のチャットボット。ロジャー派カウンセラーを真似て、入力文中のキーワードを置き換えて返すだけの単純なパターンマッチ。」という小さなプログラムを作った。やっていることは驚くほど単純で、入力文のキーワードを拾い、疑問文の形に書き換えて返すだけ。「私は母のことで悩んでいます」と打つと「あなたの母について、もっと話してください」と返す。それだけだ。

ところが、ヴァイゼンバウムが驚愕したのは、彼自身の秘書がELIZAと真剣に話し始めたことだった。仕組みを知っている秘書が、ある日部屋から人を追い出し「二人だけで話したい」と言った。その秘書は、プログラムの中身を理解していた。理解した上で、なお「誰かが聞いてくれている」と感じていたのだ。

ヴァイゼンバウムは戦慄した。人間は、自分が話しかけている相手の内面を、驚くほど簡単に、たぶん勝手に組み立ててしまう。この現象は後に「ELIZA効果ELIZA効果単純なプログラムに対して人間が過剰に「理解」や「感情」を投影してしまう現象。テストの結果が機械の能力ではなく、人間側の投影を測っている可能性を示唆する。」と呼ばれる。そして、ここからチューリングテストについての見方が静かに変わり始める——テストが測っているのは機械の知能ではなく、人間側の「信じたい」気持ちかもしれない、と。

あなたは見分けられるか

次の5つの短い対話を見せる。相手は「AI」か「人間」のどちらかだ。審判になったつもりで、ひとつひとつ判定してほしい。全問終えたあと、あなたの正答率を、実際のチューリングテスト実験(Jones & Bergen)の数字と比べる。

ここでは実際にLLMを呼び出していない。示すのは、過去の研究で記録された典型的な対話パターンや、代表的なチャットボットの応答スタイルを再現した会話ログだ。年代もシステムも異なる。

テストは何を測ってきたのか

判別難度の75年史を、一本の線で見てみる。縦軸は「審判が機械を人間と誤認した割合」、横軸は年。破線は、同じ研究で「本物の人間が人間と認められた割合」の目安。右端の「GPT-3.5」「GPT-4」「GPT-4.5」は、すべてLLM(大規模言語モデル)と呼ばれる種類のAIで、その代表例は次のパネルにまとめておく。

興味深いのは、グラフが単調増加ではないことだ。1991年のPC Therapistは50%を出したが、ルーベナー・プライズ（商業的なチャットボット競技会）の緩い審査での数字で、ELIZAと同質の錯覚に支えられている。Eugene Goostmanは「13歳のウクライナ人少年」という設定で言語ミスを正当化し、審判の期待値を下げることで33%に届いた。

2022年のGPT-3.5はむしろ低く出る。これは判定者側が学習した効果だ。LLMに触れた人ほどAIを見抜ける、という相関が観測されている。そして2024年、同じ条件でGPT-4は54%。これは、人間が人間と認められる67%に接近している数字である。

そしてグラフの右端、2025年。Jones & Bergen は続編として、3プレイヤー型(審判が人間とAIを同時に比較する)テストを実施した。GPT-4.5 に「ネットスラングに馴染んだ内向的な若者」というペルソナを与えた結果、73%の確率で「人間」と判定された。これは AI 単独の判定率ではない——同じテスト内で本物の人間が「人間」と判定されたのは27%にとどまった。AIが、本物の人間より頻繁に「人間」と判定された、史上初の記録である。

注意したいのは、これが素のGPT-4.5の能力ではない点だ。同じモデルでもペルソナ指定なしで対話させると、人間判定率は36%まで落ちる。同じAIでも、たった数行のキャラクター設定があるかないかで、結果が 37 ポイント変わる。テストが測っているのは、モデルの内部能力ではなく、人間に似せる演出ができるかどうかでもあるということだ。

2024年と2025年で、テストの形式そのものも変わっている。これが結果の解釈を大きく左右するので、図で整理しておく。

テストは、チューリング自身の宣言通り、内面を問わない。だからこそ、内面を問いたい側からはずっと批判されてきた。中国語の部屋中国語の部屋（Searle, 1980）中国語の文法規則だけを機械的に適用して返答する人は、中国語を「理解」していると言えるか、という思考実験。外面の一致と内面の理解は別だ、と主張する。はその代表で、米国の哲学者ジョン・サール(UC Berkeley)は1980年、「テストに合格する機械は、記号操作をしているだけで、何も理解していない」と論じた。

サールの思考実験はこうだ。中国語を一文字も読めない英語話者が、密室に閉じ込められている。部屋には分厚いマニュアルがあり、「この記号列が来たら、この記号列を返せ」というルールが網羅されている。外から中国語の質問が紙で差し込まれると、彼はマニュアル通りに記号を組み立てて返す。外の中国人は「この部屋は中国語を流暢に話している」と感じる——でも部屋の中の彼は、自分が何を答えているか一文字も理解していない。サールの主張は、現代のLLMにも同じ批判が当てはまるか? という形で、いまも問い続けられている。

もう一つ、測れないものがある——判定者の投影を補正する術がない。ELIZAのときヴァイゼンバウムが見たのは、審判の側で起きる自動的な人格化だった。判定者が「人間だ」と感じる根拠の一部は、機械の性能ではなく、人間の脳が誰かを立ち上げる性質そのものだ。テストは、機械と人間の能力差ではなく、人間が相手の内面を想像する強さも同時に測ってしまう。

提案からLLM時代まで

テストは超過され、役割を変えた

75年の歴史を圧縮するとこうなる——テストは、機械が人間らしく見えるかを測る設計だった。2024年に達成され、2025年には超過された。AI は本物の人間より頻繁に「人間」と判定される存在になった。達成と同時に、設計の前提が組み変わった。「人間らしく見える」ことが「考えている」ことの十分条件だと、多くの人はもう感じていない。テストは合否判定の道具から、問いを引き継ぐ歴史的な節目になった。

チューリングの予言は奇妙な形で当たっている。彼は、世紀末には「機械が考える」と言っても反論されなくなる、と書いた。2026年の現在、LLMに向かって「考えてる」と語る人は珍しくない。だが同時に、「本当に考えているのか」という問いは、1950年の時点よりむしろ鋭くなっている。

チューリング自身は、「考える」を定義しない道を選んだ。その道は、機能主義と呼ばれ、認知科学と情報科学の土台になった。しかし、道の先にはハード・プロブレム意識のハードプロブレム（Chalmers, 1995）機能や行動は説明できても、主観的経験（クオリア）がなぜ生じるのかは説明できない、という哲学的問題。が待っていた。外面はいかにリアルでも、内側に誰かがいるかどうかは、外からは決して確かめられない。テストはその問いに答えない、と最初から宣言していた。宣言は守られた。守られた結果、いま、その問いが大きくなっている。

テストが無効になったわけではない。チューリングの提案は、科学史に残る名案であり続ける。ただ、テストの合否で「考える機械が実現したか」を決められる時代は、たぶんもう終わった。2025年以降、「会話の模倣」を超えた評価軸が本格的に立ち上がっている——ARC-AGIARC-AGIFrançois Chollet が提唱した抽象推論ベンチマーク。「初めて見るパズルを解く力」を測る課題群で、訓練データに含まれない新しい推論を要求する。LLMが現状苦戦している領域。(初見のパズルを解く抽象推論)、OpenAI の GDPvalGDPval(2025)OpenAI が発表した実務遂行ベンチマーク。法律・医療・金融・工学など、経済的に価値ある具体タスクを、AIがどれだけ実用レベルでこなせるかを測る。「会話できるか」ではなく「働けるか」を問う設計。(法律・医療・工学などの実務遂行)、長期的な一貫性や因果推論を測る試み。テストが「ゴール」だった時代は終わり、今度は「ゴールの定義」自体を作り直す段階に入っている。

e. Tamaki