【新共通テスト記述式】こんな読み取りで大丈夫なのか?

文科省が9月1日付で公開した「高大接続改革の進捗状況について」という文書がある。
この文書では、大学入試センター試験の後継となる新共通テストに記述式問題を導入することが盛り込まれている。この記述式試験の採点方法については、以下の記事で、
朝日新聞および読売新聞の報道姿勢を批判した。

また採点そのものの困難さについては以下の記事で指摘した。


これについては、日比嘉高氏の論説も大変参考になる。

特に「分厚い採点マニュアル」のくだりには、現実的恐怖がある。しかも、私はおそらくそうした採点マニュアルをどんなに分厚くしても実際に答案をちら見した程度で作られたマニュアルはほとんど役に立たないと思う。記述式の答案は多様で、しかも採点基準の確定が非常に難しいからだ。

 

さて、今回の記事では、採点における答案の読み取りとクラスタリングについて考えたい。記述式試験の採点に関して、OCRで答案を読み取り、テキスト化し、さらにクラスタリングで分類した後、目視で採点を行う方式が検討されている。

今回文科省が公表した文書のp.29にクラスタリング結果のサンプルが公開されている。

次の図がそれだ。

f:id:rochejacmonmo:20160905124457j:plain

このサンプル結果を一目見ただけで、このサンプル結果の惨状は明らかである。

60個の文例のうち、明らかな読み取りミスがない文例は2個しかない。

f:id:rochejacmonmo:20160905124700j:plain

「フリップ」が「フリック」や「つリック」や「クソップ」になっていたり、「る」が「3」と認識されてたり、句読点も読み取りミスがある。中にはかなりの部分が意味不明になってしまっている読み取りもある。これはもはや笑い話のレベルだ。

もし実際の答案のテキスト化がこれと同じレベルだとすると、テキスト化したあとに、すべての答案を点検して明らか読み取りミスは修正しなければならない。しかし、これは国語の試験であり、「てにをは」や「句読点の使い方」なども採点の対象になりえるので、この精査は慎重にミスなく行う必要がある。この労力も決して馬鹿にできない。また実際に目視で採点作業を行う場合でも、テキスト化されたものをPC画面で見るなどというだけでは全く安心できない。実際の答案のスキャンを手元に置いて確認しながらでなければ到底採点などできないだろう。

つまり、もしこの精度だと、クラスタリング以前の問題である。