「ロボットは東大に合格するのか」新井 紀子
今回は、国立情報学研究所社会共有知研究センター長・教授である新井 紀子氏による、「Can a robot pass a university entrance exam?（ロボットは大学入試に合格できるのか）」というTedトークスを紹介します。
東京都出身。一橋大学法学部およびイリノイ大学卒業、イリノイ大学大学院数学科修了。博士（理学）。専門は数理論理学。数学以外の主な仕事として、教育機関向けのコンテンツマネージメントシステムNetCommonsや、研究者情報システムresearchmapの研究開発がある。
2020年までにAIが一流大学の入試に通るようになるのか
AI時代に、人の仕事は機械に代替されるのでしょうか。新井氏は、AIと人間の持つ能力の違いとは何かを追求するために、「東ロボくん」プロジェクトを始めました。人間だけが教育を通してのみ獲得できるとされているスキルや専門的能力について、研究してみたかったからです。
今日はAIと私たちについてお話ししようと思います。コンピューターに奪われる仕事は、単純作業だけだから心配するには及ばないとAI研究者はいつも言っています。本当にそうなんでしょうか？
AI技術は新たな仕事も生むことになるので仕事を失った人は新しい仕事を見つけられるとも言います。そうでしょうけど、疑問なのは AIのせいで仕事を失う人のうち、新しい仕事を得られる人はどれくらいかということです。ことにAIが私たちの多くよりもうまく物事を学べるのだとしたら。
ひとつお聞きします。2020年までにAIが一流大学の入試に通るようになると思う人は、どれくらいいますか？ 結構いますね。「もちろんそうなる！」 という人もいるでしょう。シンギュラリティ（技術的特異点）が今や問題なんだと。「碁ではすでにAIが名人に勝って いるんだから、そうなるかも」と思う人もいるでしょう。そして「絶対無理」と言う人もいるでしょう。まだ答えは分かっていないということです。
私が「東ロボくん」プロジェクトを始めたのはそのためです。日本で最高峰の大学である 東京大学の入試に通るAIを作ろうという試みです。これが東ロボくんです。もちろん頭脳部分は遠隔のサーバーで動いています。17世紀の海上貿易について、600語の小論文を書いているところです。そう聞いてどう感じますか？
私がAIのベンチマークとして入試を選んだ理由は、人間と比較したAIの能力を研究する必要があると思ったからです。人間だけが教育を通してのみ獲得できるとされているスキルや専門的能力については特にそうです。
東京大学に入るためには２種類の試験を受ける必要があります。１つ目は選択式の全国共通試験です。７科目の試験を受けて高得点を取る必要があります。そこでの正答率が84%以上でないと、東大が用意する記述式の２次試験を 受けることはできません。
一問一答問題（ジェパディ問題）を、AIは理解せずにGoogle検索で正解する
簡単な一問一答問題を、AIはGoogle検索の結果から「検索」と「最適化」という統計処理を通して解答すると新井氏は説明します。
まず現在のAIがどのように動くのかをクイズ番組『ジェパディ！』への挑戦を例に説明しましょう。ジェパディの典型的な問題はこんな感じです。
「モーツァルトの最後の交響曲は “この惑星” と同じ名前である」
興味深いことに、ジェパディで問われる質問は、常に 「この何々」 という形をしています 。「この惑星”」とか 「この国」 とか 「このロック歌手」という具合に、言い換えるとジェパディでは様々な形式の質問がされるわけではなく、１つのタイプの問題— 一言で答えられる雑学が問われるんです。
ちなみにこの問題の答えは分かりますか？ 答えが分からなくて答えを知りたいというとき皆さんならどうしますか？ ネットで検索しますよね、もちろん。
でも 検索するキーワードを適切に選んでやる必要があります。「モーツァルト 最後 交響曲」というように、AIも基本的に同じことをします。そうするとこのウィキペディアのページが最初にヒットします。それからAIはその内容を読むのかというと....違います。
あいにく現在のAIはワトソンにせよSiriにせよ東ロボくんにせよ、読解はできません。でもAIは検索と最適化に優れています。AIはキーワード 「モーツァルト」「最後」「交響曲」が この辺りに沢山出てくることを認識します。だから惑星の名前であって、これらのキーワードと一緒に現れるものがあれば、それが答えに違いないと判断します。そうやってワトソンは「ジュピター(木星)」 という答えを見つけるのです。
私たちの東ロボくんも同じように動作しますが、歴史の正誤問題を解くために もう少し賢くしました 。「“カール大帝はマジャール人を撃退した” という文は正しいか？」という問題なら 東ロボくんは それをまず 穴埋め問題に変えます。 「カール大帝は (この人々を) 撃退した」 そうすると「マジャール人」ではなく 「アバール人」が上位に来るので、この文はどうも正しくないようだと分かります。私たちのロボットは読まないし、理解しませんが、多くの場合統計的に正しいのです。
歴史の記述問題は、教科書とWikipediaから自動文章作成
さらに、人間でしか書けないように思える歴史の記述問題もも、膨大な教科書とウィキペディアの内容を組み合わせ、さらに最適化することで、たいていの学生よりも質の高い小論文を作ることに成功しました。
記述式の２次試験ではこんな感じの600語の小論文を書く必要があります。
[17世紀の東アジアと東南アジアにおける 海上貿易の盛衰について600語で述べよ･･･]
先ほどお見せしたように、私たちのロボットは教科書やウィキペディアから文を取り出し 組み合わせ、最適化して小論文を作ります。何ひとつ理解もしないで (笑) でも驚いたことに、ロボットの小論文はたいていの学生のものより出来が良かったんです (笑)
AIは、高校数学レベルと、東大2次試験の数学レベルをらくらくクリアした
さらに、AIは、高校数学レベルと、東大二次試験の記述式数学問題に解答することに成功しました。そして、東大二次試験にいたっては合格者のうち上位1%に入ることができました。
数学はどうでしょう？ 数学の問題を解く、完全自動の機械というのは 「人工知能」という言葉が生まれたとき以来の夢でしたが、非常に長い間算数のレベルに 留まっていました。
去年私たちはついに高校レベルの数学の問題を最初から最後まで解けるシステムの開発に成功しました。たとえばこんな問題です。これは日本語で書かれた元の問題です。自然言語で記述された問題を入力できるようにするために、２千の数学公理と、８千の日本語の単語を教える必要がありました。これは元の問題を機械にわかる式に変換しているところです。奇妙なものですが これで解くための準備ができました。では解きましょう。
今 記号処理をしているところです。ますます奇妙になっていますが、たぶん機械にとってはここが一番楽しいところなんでしょう (笑) 完全な解答が出力されています。もっともこの証明は数学者でも読めないような代物です。何にせよ、去年私たちのロボットは記述式の２次試験の数学で 上位１％に入りました (拍手) ありがとうございます。
しかし、東大入試ロボットは東大には入れなかった
これだけの成績を出しても、東大入試ロボットは東大には入れませんでした。それは結局、AIは文章を理解できておらず、統計処理により、そうできるかのように見せかけているのにすぎないからなのです。
では東大に入れたのでしょうか？ いいえ、私の期待に反して入れませんでした。なぜなのでしょう？ 意味をまったく 理解していないからです。英語のテストでロボットがする典型的な間違いの例をお見せしましょう。２人の会話の穴埋め問題です
A君： 本屋はもうすぐだよ。あと少し歩くだけ。
B君 待って、( ＿＿＿ )。
A君 ありがとう、いつもなんだ。
B君： ５分前にも靴、結んでたよね？
--------
選択肢 ① だいぶ歩いたね。② もうすぐだね。 ③ 高そうな靴だね。④ 靴紐がほどけてるよ。
状況を理解できる私たちにとっては④番が正解なのは明らかですよね？ でも東ロボくんは ②番を選びました。ディープラーニングの技術を使って150億個の英文を学んだ後でです。 私の言ったことがお分かりになったでしょう。現在のAIは読めないし、理解できないのです。そうできるかのように見せかけているだけです。
東大入試ロボットは、日本の6割の大学に合格できる
東大に入れなくても現時点でAIは、日本の6割の大学に合格する能力があります。まったく文章を読めず、理解もできないのにもかかわらずです。
これは東ロボくんと同じ試験を受けた50万人の学生の点数の分布です。現在、私たちのロボットは上位20%以内にいて 日本の６割以上の大学に合格できます。東大は無理ですが。でもホワイトカラーになる人々の大部分より上にいることに注目してください。この結果に私が喜んだとお思いでしょう。なにしろ私たちのロボットが多くの学生を超えたんですから。私はむしろ懸念を抱きました。どうしてこの知性を欠いた機械が、人間の学生を、私たちの子供たちを凌駕できたのでしょう？
人間の世界で何が起きているのか調べることにしました。中高の教科書から、文を数百個取り出し、簡単な選択式問題を作って数千人の中高生に答えてもらいました。これが問題の例です
[主として仏教は東南アジアや東アジアに、 キリスト教はヨーロッパ、南北アメリカ、オセアニアに、 イスラム教は北アフリカ、西アジア、 中央アジア、東南アジアに広まっている]
[問. ( ＿＿＿ ) はオセアニアに広まりました。
選択肢 ① ヒンドゥー教 ② キリスト教 ③ イスラム教 ④ 仏教]
もちろん元の問題は 生徒達の母国語である日本語で記述されています。答えは当然キリスト教ですよね？ 問題文に書いてあります！ 東ロボくんも 正しい答えを選びました。でも中学生の３分の１は この問題で間違ったのです。これは日本だけの話なのでしょうか？ そうは思いません。「OECD生徒の学習到達度調査」で 日本はいつも上位に付けているからです。３年ごとに、各国の15歳の生徒の数学・科学・国語の能力を測っているテストです。
能力を伸ばせるような優れた教材が、ウェブで無料公開され、インターネットで見られるようになっていれば、誰でも良く学べるはずだと私たちはそう信じてきました。でも そのような素晴らしい教材も、恩恵を受けられるのはちゃんと読める子だけで、そしてちゃんと読める子の割合は私たちが思っているよりずっと少ないのかもしれません。
人間がAIと どう共存していくかはしっかりした証拠に基づいて慎重に考える必要があります。しかも急いでそうしなければなりません。時間がもうないのですから。ありがとうございました (拍手)
これからは、丸暗記ではない、新しいタイプの教育が必要
人間ができるのは、丸暗記ではなく理解する能力なのに、多くの生徒が理解せずに知識を詰み込んでいます。そしてそれはAIでもできることなので、人間のための新しいタイプの教育が必要だと新井氏は述べます。
---------------------------------------------------
クリス・アンダーソン：どうもありがとう
(新井紀子) こちらこそ
(アンダーソン) ：あなたの話は AIがどのように考え、何がうまくでき、何ができないのかという感触をすごく見事に伝えてくれました。私が正しく理解しているなら、人間がAIよりもうまくできることについて子供達を助けられるよう教育の変革を急がねばならないとお考えなんですね。
(新井) その通りです。私たち人間は意味を理解することができます。これはAIにすごく欠けている部分です。でも多くの生徒は、理解せずに、ただ知識を詰め込んでいます。それは知識ではなく、ただの暗記でAIでもできることです。だから私たちは新しいタイプの教育を考える必要があります
(アンダーソン) 丸暗記から 意味の理解へという転換ですね
(新井) ええ
(アンダーソン) 教育者諸氏にとっての 課題ですね ありがとうございました (新井) ありがとうございました (拍手)
新井紀子
イースト・プレス
売り上げランキング: 157,401
イースト・プレス
売り上げランキング: 157,401
日本経済新聞出版社 (2013-11-29)
売り上げランキング: 47,063
売り上げランキング: 47,063
こちらもおすすめ
・「遺伝子は教育で変えられる」モシェ・シーフ・北朝鮮の生徒に「真実」を教えることが意味すること
・「なぜ多くの企業がいまだに従業員のモチベーションを上げられないのか」
・「やり抜く力は『完全習得学習』で身につけられる」GOOGLE・ビルゲイツも賛同する
世界的E-LEARNING事業創業者が語る言葉とは
・「IQと学力は関係ない」元マッキンゼー、公立教師の研究者が語る「やり抜く力」とは
・「GOOGLEと、褒めてくれる人がいれば、子どもは誰でも勉強ができるようになる」 スガタ・ミトラ
