タスク概要
これまで研究されてきた自動採点（Automated Scoring）はおおまかに以下の2つのタスクに分かれている。
- Essay Scoring
- 小論文のような長い記述問題を自動採点するタスク。1,2文ではなく、複数の文が集まって解答となる問題である
- Short Answer Scoring
- 解答が1文ほどの長さ（多くても20~30文字程度）で、いくつかの採点基準がありそれに沿って得点が採点される問題である
自動採点タスクの特性
自動採点では、以下のような観点がタスクの特性としてある。
- 教師データのアノテーションが高コストである
- ドメイン固有のデータに対して自動採点が求められることが多く、少量の教師データしかない・作れない
- 試験・テストの問題数が多くなるほど、複数問題に渡って使用可能な汎用的な手法が求めれられる
- 機械学習モデルによってだた予測返すだけでなく、どう修正したらよいかのフィードバックがあると効果的である
- 解答のどの箇所が間違っていたのかといった根拠を示すことにより、どのように直したらよいかわかる
Papers
大きく分けて、教師あり学習のもの、テキストの類似度を使っているものに分類できる。（また、その両方の組み合わせ）
- AUTOMATIC SHORT ANSWER GRADING AND FEEDBACK USING TEXT MINING METHODS
- Automated Essay Scoring: A Siamese Bidirectional LSTM Neural Network Architecture
- Co-Attention Based Neural Network for Source-Dependent Essay Scoring
- Pre-Training BERT on Domain Resources for Short Answer Grading
- Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring
- Inject Rubrics into Short Answer Grading System
- Investigating neural architectures for short answer scoring
- Identifying Current Issues in Short Answer Grading
- A Neural Approach to Automated Essay Scoring
- Fast and Easy Short Answer Grading with High Accuracy
- Automatic Text Scoring Using Neural Networks
- A Memory-Augmented Neural Model for Automated Grading
- Automated Scoring: Beyond Natural Language Processing
- Investigating Active Learning for Short-Answer Scoring
- The Impact of Training Data on Automated Short Answer Scoring Performance
- Generative Grading: Neural Approximate Parsing for Verifiable Automated Student Feedback
- Learning to Grade Short Answer Questions using Semantic Similarity Measures and Dependency Graph Alignments
- Unsupervised Learning of Discourse-Aware Text Representation for Essay Scoring
- Effective Feature Integration for Automated Short Answer Scoring
- Earth Mover’s Distance Pooling over Siamese LSTMs for Automatic Short Answer Grading
- 短答式記述答案の採点支援ツールの開発と評価
- Reducing Annotation Efforts in Supervised Short Answer Scoring
- Paraphrase Detection for Short Answer Scoring
- 記述答案採点の自動化に関する研究
- Doc2Vec を用いた国語記述式答案の自動評価
- 参照データと idf を利用した事前採点不要な小論文評価手法
- 採点ミス発見支援システムの開発 ～部分点と採点記号の認識を用いた採点ミス発見手法～
Survey
- Automated Essay Scoring: A Survey of the State of the Art
- Qiita: Automated Essay Scoring: A Survey of the State of the Art
- Machine Learning Approach for Automatic Short Answer Grading: A Systematic Review
言語処理学会
-
NLP2020（論文公開されたら、リンク追加する）
-
NLP2019
-
NLP2018
-
NLP2017
-
NLP2016
書籍
Dataset
-
Kaggle ASAP dataset
- 多くの論文でベンチマークとして使われている（英語のデータセット）
- Dataset for Japanese Short Answer Scoring （公開予定）
最近の動向をつかむための個人的おすすめ論文
以下の論文を読めば最近の動向はおそらく把握できると思われる。
Automated Scoringタスクとして、BERTなどによる転移学習の手法を使うことでなるべく少ないデータでより高精度を達成することが課題としてあるだろう。また、Active Learningなどの手法も合わせて使うことでより効果的なアプリケーションを作ることができると考えられる。
Neural network based methods
-
Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring
- Attentionにより、採点項目+全体のスコアを合わせて予測する手法を検証した論文
- 採点項目に基づく国語記述式答案の自動採点
-
Inject Rubrics into Short Answer Grading System
- 採点基準として用意されたsentenceと、解答のsentenceの類似度を測る機構を組み込んだ手法を提案した論文
- 採点基準を利用した記述式答案の自動採点
-
Investigating neural architectures for short answer scoring
- 複数アーキテクチャのニューラルネットでどれが性能が良いのかを検証した論文
-
A Neural Approach to Automated Essay Scoring
- RNN basedなニューラルネットをAutomated Essay Scoringに適用した論文
- Code: https://github.com/nusnlp/nea
- Fast and Easy Short Answer Grading with High Accuracy
- Automatic Text Scoring Using Neural Networks
-
A Memory-Augmented Neural Model for Automated Grading
- 自動採点にMemory機構を使った論文
- Code: https://github.com/siyuanzhao/automated-essay-grading