松本徹三氏はおそらく基本的な事実を誤認している＞東ロボ

東ロボ AI

松本徹三氏が書いた「AIが神になる日――シンギュラリティーが人類を救う」という書物について、中村伊知哉氏のツイートとそれへの新井紀子氏のコメントがあった。

 

 私は、松本氏の著書をすべて読んだわけではなく、9頁にある次の記述を見ただけである。

●東ロボ君は再挑戦できる
国立情報学研究所の新井紀子教授は、日本におけるAI研究の先駆者で、大変立派な業績を上げている方ですが、AIが東大入試の英語の試験に合格できるかを試す「東ロボ君」のプロジェクトを進めた結果、「合格は不可能」という結論を出しました。

しかし、それは、このプロジェクトのためにメモリーされた英単語が五百億語、文章が十九億文程度で打ち切られていたからだと、私は考えています。単語の方はともかく、文章の方はその百倍の二千億文程度まで増やさないと駄目でしょう。それはそんなに難しいこととは思えません。

クラウドは、今や、一人の人間が一生かかって蓄積しうる記憶をはるかに凌駕する記憶量を持っており、しかも今のこの瞬間も、世界中で休むことなく情報を収集し続けています(*)。

(*)世界中から常時（ネットで）収集し続けている情報の中には、おそらく「作り物の画像や映像」なども含んだ膨大な数の「偽の情報」が含まれているでしょう。しかし、将来のAIの実力からすれば、そういうものを弾き出すことはかなり簡単だと思います。種々のファクターを縦横につなぎあわせてその整合性を検証すれば、かなりの確度で、「真実であるか、あるいは相当嘘っぽいか」程度は言い当てることができると思います。

また、そのプロセッサーのスピードは、膨大な数のトランジスターを超高速で並列的に動かすことによって、想像を絶するほどのものになっています。つまり、もはや、このような基本的な能力においては、いかなる天才も太刀打ちできないレベルに達しつつあるのです。我々は、今こそ、このことの持つ意味を真剣に考えねばなりません。

 他にも東ロボプロジェクトに関する記述があるのかもしれないが、ここに述べられている記述だけみても、松本氏は基本的な事実認識が間違っているか、あるいは事実確認を怠っている。

「AIが東大入試の英語の試験に合格できるかを試す「東ロボ君」のプロジェクト」

既にこれが間違っている。今回のプロジェクトで、AIを用いて解答した英語の試験は、センター試験の英語とリスニングの問題であり、東大入試の英語の問題ではない。（そもそも「AIが東大入試の英語の試験に合格できるかどうか」というのも実際のプロジェクトの全体像を矮小化している。今回のプロジェクトではセンター試験の一定の科目を受験（英リ・国・数・物・世）し、東大模試の数学と世界史を受験したのだから、東大の英語がターゲットであったかのように誤解させる松本氏の記述は不適切である。）

このプロジェクトのためにメモリーされた英単語が五百億語、文章が十九億文程度で打ち切られていたからだと、私は考えています。単語の方はともかく、文章の方はその百倍の二千億文程度まで増やさないと駄目でしょう。それはそんなに難しいこととは思えません。

 このような曖昧な書き方をするということから、松本氏は、実際に500億語・19億文を用いて、どのような設問が解答でき、どのような設問が解答できなかったかということを正確に把握しているとは思えない。

　今回よい成績だったのは、発音・アクセント・文法と語彙語法・語句整序に関する問題群であり、応答文完成ですら7割程度、会話文完成・不要文除去・意見要旨把握も4割程度。3つの読解文については、統計や生活に関する資料でようやく6割程度だが、物語や論説では2割程度しかできていない。例えば、今年のセンター試験の「不要文除去」の問題をスクリーンショットしておく。

f:id:rochejacmonmo:20171113201915j:plain

こういう問題が現状解けていないので、そもそも長文読解の問題などとてもできない。ましてや東大二次の英語の問題などと到底無理だ。　

　今回担当したグループは、2000億文などとは言わなかった。彼らは複数文の問題でも500億文程度の類似文章が手に入れば、複数文問題でももう少し正答率が改善するであろうという見通しを述べていた。しかし同時にそれだけの文章群を得るための作業コストが経済的に見合うかどうかという問題も浮上すると述べている。

もはや、このような基本的な能力においては、いかなる天才も太刀打ちできないレベルに達しつつあるのです。我々は、今こそ、このことの持つ意味を真剣に考えねばなりません。

 センター試験で200点満点を取る学生というのは、それなりにはいるし、190点以上にすれば、もっと増える。駿台・ベネッセが集計した2017年のデータネット（自己採点集計）の度数分布のスクリーンショットをはっておく。

f:id:rochejacmonmo:20171113203317j:plain

英語の筆記で190点以上とる学生は8000人以上のオーダーで存在する。別にこうした学生のすべてが「天才」というわけでもないだろうし、その意味で今回の東ロボプロジェクトで試みられた得点は、十分によくできる人間の得点に比べて明らかに劣っていると結論するのが妥当である。仮に2000億文が用意できたとして、複数文選択の問題が仮にかなり正答率が上昇したとしても、センター試験の読解問題である第5問や第6問で2箇所でもミスをすれば、合計点は190点を割り込む。その意味で、本当にできる受験生と同程度の得点をあげるために、文例の収集と深層学習というだけではまだ道のりは遠そうに見える。もし仮にそうしたことができるようになるのだとすれば、何らかのブレイクスルーは少なくとも必要なのだろう。