子供が書いた作文を Bing Chat に評価させてみる

はじめに

本記事は Bing Chat Enterprise を使用して子供たちの書いた作文の形成評価を行うことができるかどうかを実験した結果です。
※ 使用した作文は子供が書いたものではなく、生成AIに作らせたものを使っています。

なぜ Bing Chat Enterprise を使用するのか

対話型生成AIサービスといえば、OpenAI の ChatGPT が有名です。Microsoft も個人が利用できる Bing Chat と組織が利用できる Bing Chat Entperise の2種類のサービスを提供しています。では Bing Chat Enterprise を使うべきなのでしょうか。

Bing Chat Enterprise の 「プライバシーと保護」についてのドキュメント を見ると 「Microsoft はプロンプトと応答を保持しないため、基になる大きな言語モデルのトレーニング セットの一部として使用することはできません。」　と書かれています。要するに、ユーザーが入力した情報やその回答はマイクロソフトが利用しないため、情報漏洩の心配がないのです。

教育機関が Bing Chat Enterprise を使用するにはどうすればよいのか

Bing Chat Enterprise は、Microsoft 365 A3 もしくは A5 の教員向け(Faculty)ライセンスを付与されたユーザーのみが利用できます。

作文の形成評価

作文の評価ポイントは以下の7つにしてみました。
※ 私は国語教育の専門家ではないので、以下に示す評価ポイントは単なる例としてお考えください。

• 理解の深さ:(20点)
  • 本の内容が正確に要約されているか、または適切に描写されているか。
  • 物語の登場人物、設定、プロット、コンフリクト（問題）、クライマックス、解決などの主要な要素を生徒が理解し、説明しているか。
• 個人的な反応:(15点)
  • 学生が物語やキャラクターにどのように感じたか、個人的な感情や体験を織り交ぜているか。
  • 物語から学んだ教訓やメッセージを生徒がどのように解釈し、自分の言葉で表現しているか。
• 思考のクリティカリティ:(15点)
  • 生徒が物語の要素やテーマについて独自の考えを持っているか、またそれをどのように表現しているか。
  • 文章が単なる要約ではなく、分析、推測、予測などの高次思考を含んでいるか。
• 表現力:(15点)
  • 感想文が明確で、理解しやすく、流れがスムーズか。
  • 適切な語彙を使用し、文が適切な文法と構造で構成されているか。
• 創造性:(10点)
  • オリジナリティがあるか、または独自の視点やアイデアが提示されているか。
  • 物語の異なる解釈や、物語に対する新しい視点、想像力を使った要素が含まれているか。
• 構成と組織性:(15点)
  • 文章には明確な導入部、本論、結論があるか。
  • 情報が論理的な順序で提示され、読み手が内容を追いやすいか。
• 引用と参照:(10点)
  • 物語からの直接的または間接的な引用が適切に使用され、説明されているか。
  • もし引用がある場合、それが正確で適切に属性されているか。

作文の形成評価のためのプロンプト

上記の評価ポイントを元にプロンプトを作成します。最後に作文を作ってくれた子供をほめてあげることも忘れずに!!

プロンプト

小学生が書いた{作文} の{形成評価基準}に従い評価を行います。

{形成評価基準}
- 理解の深さ:
20点: 物語の主要な要素とテーマを完璧に理解し、詳細かつ正確に要約している。
17点: 物語の主要な要素を理解し、ほとんど正確に要約しているが、小さな誤解がある。
14点: 物語の要素の基本的な理解は示しているが、いくつかの重要な点が欠落しているか不正確。
11点: 物語の基本的な要素を一部理解しているが、多くの重要な点が欠落しているか、誤解が多い。
8点: 物語の内容の理解が不十分か、誤解が非常に多い。

- 個人的な反応:
15点: 深い個人的なつながりを明確に表現し、感想が物語の理解を豊かにしている。
12点: 個人的なつながりを表現しているが、そのつながりが物語全体の理解にどう影響しているかは完全には明らかでない。
9点: ある程度の個人的なつながりを示しているが、表面的か、物語との関連が弱い。
6点: 個人的な反応が少なく、不明瞭または関連性が乏しい。
3点: 個人的な反応がほとんどまたは全く示されていない。

- 思考のクリティカリティ:
15点: 高度な分析、洞察、批判的思考を展開し、論拠に基づいた意見を明確に表明している。
12点: 一定レベルの分析と批判的思考があるが、深い洞察や詳細な論拠には至っていない。
9点: 基本的な分析は行っているが、批判的思考や個人的な見解が不足している。
6点: 分析や批判的思考が限られており、表面的な内容が多い。
3点: 分析や批判的思考がほとんどまたは全くない。

- 表現力:
10点: 表現が非常に明確で、文が流れるようで、高度な語彙を使用している。
8点: 表現が明確で、ほとんどの部分が理解できるが、小さな誤りがある。
6点: 表現にある程度の明確さがあるが、誤解を招く可能性のある部分もある。
4点: 表現が不明瞭で、読み手に混乱を招く部分が多い。
2点: 表現が非常に不明瞭で、文の構造や語彙に大きな問題がある。

- 創造性:
15点: 独創的なアイディア、視点、洞察が豊富に含まれており、読書感想文が魅力的でユニーク。
12点: いくつかの独創的な要素や新しい視点があるが、全体としては従来の範囲内。
9点: 一般的なアプローチをとっており、限定的な創造性が見られる。
6点: 新しい視点や独創的な思考がほとんどなく、表現が予測可能であり、テンプレートに頼っている。
3点: 創造性や独自の要素がほとんどまたは全く見られない。

- 構成と組織性:
15点: 文章に明確な構成があり、全体が流れるように組織されている。各セクションが論理的に連なり、読者が容易に理解できる。
12点: 一般的なアプローチをとっており、限定的な創造性が見られる。: 全体的な構成は明確だが、いくつかの部分で流れが取り乱れているか、結論がやや不明確。
9点: 基本的な構成はあるが、多くの部分で組織的な一貫性や明確さが欠けている。
6点: 文章の構成が不明確かつ無秩序で、主要なアイディアが不明瞭または埋もれている。
3点: 文章の構成がほとんどまたは全くなく、読者が内容を理解するのが困難。

-引用と参照:
10点: 引用や参照が非常に巧みに使用されており、読書感想文の主張を強化し、明確にするのに貢献している。
8点: 引用や参照は適切に使用されているが、それらが文章の全体的な理解に完全に統合されているわけではない。
6点: 引用はあるものの、それらが随所で不適切に使用されているか、その目的や関連性が完全には明確でない。
4点: 引用の使用が極めて限定的で、存在してもその関連性や効果が不明瞭。
2点: 引用や参照がほとんどまたは全く使用されていない、または不適切で誤解を招く方法で使用されている。

それぞれの形成評価の評価ポイントと修正内容を小学生にわかるように説明してください。
最後に作文を書いた小学生を名前で呼んでほめてあげてください。

{作文}
<小学生が書いた作文>

小学生が書いた作文も生成AI に作らせみる

実際に小学生が書いた作文は手元にないので、形成評価を行うための作文も生成AIに依頼して作ってもらいます。以下はプロンプトは一例です。

※ Bing Chat だとうまく作文を作ってくれいないこともあるので、そんな場合は Open AI の ChatGPT を使ってみてください。

プロンプト

小学生6年生(Grade 6)が作文を書きます。2000文字程度で作成します。
以下の基準を満たす作文を作成してください。
小学生の気持ちになって書いてください。
本は「ハリーポッター」シリーズから選んで書いてください。

{基準}
理解度の深さ:  物語の主要な要素とテーマを完璧に理解し、詳細かつ正確に要約している。
個人的な反応:  深い個人的なつながりを明確に表現し、感想が物語の理解を豊かにしている。
思考のクリティカリティ: 高度な分析、洞察、批判的思考を展開し、論拠に基づいた意見を明確に表明している。
表現力: 表現が非常に明確で、文が流れるようで、高度な語彙を使用している。
創造性: 独創的なアイディア、視点、洞察が豊富に含まれており、読書感想文が魅力的でユニーク。
構成と組織性: 文章に明確な構成があり、全体が流れるように組織されている。各セクションが論理的に連なり、読者が容易に理解できる。
引用と参照: 引用や参照が非常に巧みに使用されており、読書感想文の主張を強化し、明確にするのに貢献している。

評価結果

作文1 (生成AIが作成)

タイトル：「ハリーポッターと賢者の石：魔法の世界への私の旅」
山田　太郎

私が最初に「ハリーポッターと賢者の石」を開いたとき、私はただの4年生の小学生でしたが、この本は私を遠く、想像を超えた魔法の世界へと連れて行ってくれました。J.K.ローリングさんが書いたこの物語は、孤独な少年が自分の運命を知り、勇気と友情の力を学ぶ冒険についてです。

ハリー・ポッターは、ごく普通の（と彼が思っていた）少年で、いじめられっ子でしたが、ある日、彼が実は魔法使いで、ホグワーツ魔法魔術学校に招待されていることを知ります。私もハリーと一緒に手紙を受け取ったような気がして、わくわくしました。「ホグワーツへようこそ」と書かれたその手紙は、私たち読者にも新しい世界の扉を開いてくれたのです。

ホグワーツで、ハリーは友情、家族の愛、そして自分自身の内なる力について学びます。ハーマイオニー・グレンジャーとロン・ウィーズリーという二人の親友とともに、彼は学校を守るため、そして最も大切なのは、「賢者の石」を悪者ヴォルデモートから守るために立ち上がります。

この物語を読んで、私は本当の勇気が何かを学びました。それは、危険な状況で恐れを知らずに行動することだけではなく、「友達を守るためなら何だってするよ」というロンの言葉のように、大切な人のために自分の安全を危険にさらすことでもあるのです。

また、ハーマイオニーが困難に立ち向かう際、彼女の知識と勉強の重要性がどれほど役立つかを見て、学校で一生懸命勉強することの大切さを改めて感じました。彼女は「本を読んで学ぶことの大切さを知らない人に、私がどう説明すればいいのかしら」と言って、私たちに学ぶ意欲の大切さを教えてくれます。

この本はまた、違いを受け入れることの大切さについても教えてくれます。たとえば、ハーフ巨人のハグリッドや、家が貧しいロンの家族など、ホグワーツの魔法使いたちはみんな違って、それぞれにユニークです。しかし、彼らの違いが彼らを強くし、物語をより豊かにしています。

「ハリーポッターと賢者の石」を読むことで、私は勇気、友情、学ぶことの大切さ、そして違いを受け入れることの価値について深く理解することができました。私たちが普通の人間であっても、ハリーのように特別なことを成し遂げることができると信じています。この本はただの物語ではなく、私たち一人一人の心の中にある魔法についての物語なのです。

作文2 (生成AIが作成)

タイトル：「ハリーポッターとアズカバンの囚人：時を超える冒険」
佐藤　花子

私が「ハリーポッターとアズカバンの囚人」を読んだとき、それはただの物語よりもっと深いものを感じました。この本は、ハリー・ポッターという少年が3年生になり、更に難しいことに直面する物語です。彼は逃亡犯シリウス・ブラックのターゲットになっていると言われ、それが彼の運命とどう繋がっているのかを理解しようとします。

この物語の面白いところは、時計仕掛けのように時間が重要な役割を果たすことです。ハーマイオニーには時間を遡るための特別なデバイスが与えられていて、これが結局はハリーの命を救う鍵となります。でも、この時間の旅行の部分は少し混乱しました。時間を巻き戻すことができるなら、なぜハリーはもっと早くそれを使って両親を救ったり、ヴォルデモートを倒したりしなかったのでしょうか？

しかし、この本で私が最も感動したのは、ハリーがシリウス・ブラックについて知った真実です。最初、シリウスがハリーの敵だと思っていましたが、実は彼のゴッドファーザーで、ハリーの両親の古い友人だったのです！この大きな誤解は、私たちが知らない人に対して持っている先入観について教えてくれます。時々、私たちは人々を真実を知らないで判断してしまうことがあります。

もちろん、ドビーのような新しいキャラクターにも出会いました。彼は面白い小さなハウスエルフで、自由を求めているのですが、それはちょっと私が授業で学んだ歴史の話に似ていると思いました。でも、ドビーは「ハリーポッターと秘密の部屋」に登場したので、ここで彼について話すのは間違いかもしれません。本がたくさんあるので、混乱してしまいますね。

この本を読んで、友情や家族、そして勇気についてもっと学べました。ハリー、ロン、ハーマイオニーが一緒にいるとき、彼らは本当に強い絆で結ばれていることが分かります。それに、ハリーが困難に立ち向かう勇気は、私たちが自分の恐れに立ち向かい、正しいことをするために必要な勇気について教えてくれます。

結論として、この本は魔法や冒険に満ちているだけでなく、実生活における重要なレッスンを教えてくれると思います。間違いや誤解を超えて、私たちは自分自身と他人についてもっと学び、成長することができます。そして、私たちが過去を変えることはできなくても、未来を形作る力を持っていることを忘れてはいけません。だから、私たちはハリーポッターのように強く、勇敢でなければならないのです。

まとめ

文部科学省の作成した 「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」 の5ページ目に　「⑦ 児童生徒の学習評価を、教師がAIからの出力のみをもって行うことは適切でないと考えられる」 といった記載があります。今回行った実験はまさにこれに該当します。

作文の形成評価を生成AIに任せた場合のメリット、デメリットについても少し考えてみたいと思います。AIによる作文の形成評価には、以下のようなメリット、デメリットがあると私は考えています。

• メリット:
  • 効率性: AIは大量の作文を短時間で評価することが可能です。これにより教師の負担を軽減し、他の教育活動に時間を割くことができます。
  • 客観性: AIは人間と異なり、感情や偏見に影響されず、一貫した評価を提供します。
  • フィードバックの即時性: AIは即時にフィードバックを提供することが可能で、学生が自己学習を進める上で有用です。
• デメリット:
  • 評価の限界: AIは現在の技術では、作文の創造性や深い洞察を完全に理解・評価することは難しいです。
  • 個々のニーズへの対応: AIは一般的な評価基準に基づいて評価しますが、個々の学生の特定のニーズや進歩に対応することは難しいです。
  • 信頼性と透明性: AIの評価プロセスはブラックボックス化されており、その信頼性や透明性に疑問が持たれることがあります。また、AIの誤った評価による潜在的な影響も懸念されます。

実験結果を考慮に入れるとAIが生成した回答を参照しながら、先生が子供たちにフィードバックをすることで、先生の業務負担を大幅に削減できると共により決め細かい指導ができるのではないかと私は考えています。

おまけ

Open AI の ChatGPT-3.5 と　Anthorop の Claude.ai を使用して同じことをやってみました。
こうやってくらべてみると Bing Chat は優秀ですね。

ChatGPT-3.5

Claude.ai