GeminiでQuizA用の情報セキュリティマネジメント試験の問題作成してみる

作成された問題

（「クイズを探す」でIPAで検索）

フォーマットダウンロード

クイズ作成から「フォーマットダウンロード」

Gemini で問題作成を指示

ダウンロードしたJSONを添付して下記スクリプトを実行

情報セキュリティマネジメント試験シラバス（Ver.4.1）の4択クイズを作りたいです

科目A
カテゴリ1: 情報セキュリティ全般
カテゴリ2: 情報セキュリティ管理
カテゴリ3: 情報セキュリティ対策
カテゴリ4: 関連法規
カテゴリ5: 関連分野（テクノロジ系）
カテゴリ6: 関連分野（マネジメント系）
カテゴリ7: 関連分野（ストラテジ系）

科目B
カテゴリ1: 情報セキュリティマネジメントの計画
カテゴリ2: 情報セキュリティマネジメントの運用
カテゴリ3: 情報セキュリティの継続的改善


・各カテゴリごとに１５０問づつ作ってください。
・正解が１つになるように4択クイズを作ってくください
・文字数の制約があります　カテゴリ６文字、問題１００文字、各選択肢６４文字　説明１５０文字
・タイトルやカテゴリなどはお任せします。
・添付のJSON形式で出力してください
・出力は２５問毎に出してください。
・カテゴリが変わる毎にタイトルなども記載、カテゴリが変わらない時はコピペするので、問題からの出力で良いです。

では、科目A　カテゴリ1: 情報セキュリティ全般　から出力お願いします。

Grok　で査収

生成したjsonを添付して、下記スクリプトを実行。

4択クイズです。
・問題、選択肢、解答、説明　で間違いがないか確認して
・答えが２つあるものがあったら指摘して

どのAIでもフォーマットの説明なく理解してくれる。

Grokはデフォルトで、全部の問題をチェクしてそれぞれについて結果を説明してくれる。
優秀😃。

提供された「情報セキュリティマネジメント試験 科目A-1 情報セキュリティ全般」の問題セット（JSON形式）を確認し、以下の観点でレビューを行いました：
  1.問題、選択肢、解答、説明の正確性：各問題の内容、選択肢、解答、説明がシラバス（Ver.4.1）に基づき正確であるか。
  
  2.解答が複数存在する問題の有無：一つの問題に対して正しい解答が複数ある、または曖昧な問題を指摘。

  3.その他の誤りや改善点：記述の曖昧さ、不適切な表現、またはシラバスとの整合性の問題。

以下はレビュー結果です。全体的に問題セットは高品質で、情報セキュリティマネジメント試験の科目A「情報セキュリティ全般」の範囲をよくカバーしています。ただし、いくつかの問題で軽微な改善点や注意点が見つかりました。
---
全体評価
・問題の網羅性：CIAトライアド、リスク管理、認証技術、暗号技術、攻撃手法、セキュリティ対策、関連規格（ISO/IEC 27001など）など、情報セキュリティ全般の主要トピックを幅広くカバーしており、シラバスに適合。
・解答の明確性：ほとんどの問題で正しい解答が一意に定まり、説明も適切。ただし、1問（質問75）で潜在的な曖昧さが見つかり、改善の余地あり。
・説明の質：説明は簡潔で正確。初心者にもわかりやすく、試験対策として適切な内容。
・誤りの有無：重大な誤りはなし。ただし、細かな表現の改善や曖昧さの解消が必要な箇所が数件あり。

詳細レビュー（問題ごとの確認）
以下に、各問題の正確性と「解答が複数ある可能性」のチェック結果をまとめます。問題数が多いため、特に問題がある箇所や改善が必要な箇所を中心に記載し、問題のない質問については簡潔に「問題なし」とします。

質問1～7：CIAトライアドと関連特性
・内容：機密性（Confidentiality）、完全性（Integrity）、可用性（Availability）、真正性（Authenticity）、責任追跡性（Accountability）、否認防止（Non-repudiation）、信頼性（Reliability）を問う問題。
・確認結果：
　　・全ての問題で選択肢、解答、説明が正確。CIAトライアドおよび拡張特性（真正性、否認防止など）は情報セキュリティの基礎として重要で、説明も適切。
　　・解答は一意（例：質問1の「C」は機密性のみ）。
　　・問題なし。

質問8：情報資産
・内容：企業や組織にとって価値を持つ情報の呼称。
・確認結果：
　・正解は「情報資産」で、説明も適切（顧客情報、技術情報などが例として挙げられている）。
　・選択肢に紛らわしいものがなく、解答は一意。
　・問題なし。
 :
 :
 :

ChatGTP　で査収

修正したjsonを添付して、下記スクリプトを実行。

4択クイズです。
・問題、選択肢、解答、説明　で間違いがないか確認して
・答えが２つあるものがあったら指摘して

ChatGTPは、Gemeniとはまた違う観点でチェックしてくれる。
解答の半分くらいはおかしな指摘だったので、人間が最終的にチェックしなければいけないのは仕方ないが、鋭い指摘が多いので優秀😃。

指摘内容
「多要素認証」問題
選択肢に「二段階認証」と「多要素認証」が並んでおり、説明文で「二段階認証はMFAとは厳密には異なる」と書かれています。
ただし一般利用者レベルでは同義に扱われることも多く、混乱を招く可能性あり。

→ 修正案：選択肢から「二段階認証」を外すか、「二要素認証（2FA）」にする。

「クリーンデスク」問題
正解が「クリーンデスク」となっていますが、選択肢に「クリアデスク」もあり。
一般的には「クリアデスクポリシー（Clear Desk Policy）」が正式。日本語では「クリーンデスク」とも呼ばれるため、複数正解になり得る。

→ 修正案：正解候補を「クリアデスク（クリーンデスク）」と併記するか、片方に統一。

「組織的セキュリティ対策」問題
問題文に「最後の砦」とあり、選択肢が「物理的」「技術的」「組織的」「法的」。
解答は「組織的」とされていますが、説明に「人的対策を含む場合もある」とあり混乱。
実際「最後の砦」と表現されるのは「人的対策」の方が一般的。

→ 修正案：問題文を「人的対策や組織的対策の一環で…」などに変更する。

「責任追跡性」問題
選択肢に「信頼性」があるが、説明と関係なく誤解を招く可能性あり。
大きな誤りではないが、IPA公式定義では「アカウンタビリティ（責任追跡性）」と「信頼性」は混同されやすいため注意。
「情報セキュリティポリシー」関連（ポリシー／スタンダード／ガイドライン／プロシージャ）
各問で答え自体は正しいが、出題が近接しており混同しやすい。

→ 修正案：説明文に「3階層モデル（ポリシー・スタンダード・プロシージャ）」を明示すると混乱回避。
 :
 :

所感

定義ファイル（JSON)の説明などは不要だが、出力してほしい範囲を明確にしないと暴走したり同じような質問を定期的に繰り返して出力してしまう。ある程度範囲を絞った方が重複な出力を抑えることができる。
複数のAIで査収することで、さまざまな観点で担保できる。

なお、Grok, ChatGTPで直した結果を人手で査収したら、160問で2問が修正必要だったので、1%ちょいはハルシネーションするものというのでみるのが良さそう。問題を作るだけの作業でもまだ一人では任せられないな。。。