研修で誰かに教えているとき、
自分で新しい何かを学んでいるとき、「現在地点」を測定したくなる。
測定方法としては、
- ペーパー試験
- 演習課題
- 口頭試問
などなど、様々だが、
今回は理解度テストについて掘り下げる。
「測定」のモチベーション
まずは測定のモチベーションについて、
教育側、被教育側にどのような効果を狙うのというと、
- 対象の理解度を確認したい
- 理解できている点
- 理解できていない点
- 自分の教え方をふり返りたい
- 教え方の改善
- 補講内容の決定
- 理解度を自覚させたい
- 復習のきっかけ作り
というように、「狙い通りに行けば」様々な効果が見込める。
理解度確認テスト（知識）
今回の主題はいわゆるペーパーの試験について。
この試験は、コードを実際に動かすことなく、
学校の定期試験のように、問題文と解答用紙を用いて行う。
- 用語の意味
- コードの実行結果
- エラーとなる個所とその原因
等を問い、
解答方法についても
- 記述式（短答）
- 記述式（長文）
- 選択式
- 穴埋め式
といくつかのバリエーションがある。
メリット
- 点数という形で定量的に評価できる
- 基礎の定着度を確認できる
- 形式によっては低コストで運用できる
デメリット
- 必ずしも実装力と対応しない
- 学習の際、コードを動かさないで学ぶ人が出る
- 作問により、精度がかわる
- 技術力ではなく日本語力の問題となることもある
- 結果は良くも悪くもデジタルとなる
所感
研修レベルにおいては、「意外」と「実力」との相関があるという印象。
所感としては、
- 点数の高い人がプログラミングができるわけではないが、プログラミングが得意な人は点数も高い
- プログラミングが苦手な人は低い点となることが多い
- 出題形式は様々であるが、コード読解力が問われているケースが多く感じる
- なんだかんだコードの読解力が問われる傾向に見える
作問の難しさ
作問の難易度が意外と高く、
- 意図通りに計測できる作問が難しい
- 意図しない誘導が起こる
- 選択肢の作り込みが難しい
- 文意が伝わらない事がある
いわゆる「運転免許」の試験のようになってしまうことも。
また、各問題、意図をもって作問を行うが、
狙った箇所で躓いてくれるとも限らず、
意図しない場所がヒントとなることもあったり、
また、間違えやすい挙動を問おうとした結果、不自然な作問・コードとなってしまうこもある。
採点基準の健全性
フェアな採点基準を作ることも難しい点の一つだ。
記述式の場合、
- 別解をどこまで許容するか
- 部分点の基準
- 表記ミスの許容範囲
「人を落とす試験」ではない点に留意すると、
どこまで「甘く」するかの塩梅が難しい。
採点基準ひとつで、正解率も大きく変わる。
意図した計測を行うためには基準の作成も重要なファクタの一つである。
試験結果の活用
試験結果がデジタルに出る分、
試験後にも留意が必要となる。
点数や正誤にとらわれ過ぎないことに注意が必要。
（教育側、被教育側ともに）
一歩踏み込み、傾向や根本原因を分析することが大切となる。
ここまでできて初めて試験をつようすることができるのだ。