6
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

汎用問題ではなく自社規程から出題する—AIによる実務判断型ISMSテストを自動生成する仕組み

6
Posted at

はじめに

ISMS(情報セキュリティマネジメントシステム)やプライバシーマーク(PMS)を取得・運用している企業では、年に一度以上の頻度で従業員向けの理解度テストを実施することが求められます。しかし実際の現場では、既製の汎用テスト問題を流用しているケースが多く、結果として「テストのための学習」に留まり、実務判断力の向上につながっていないという課題があります。

本記事では、社内規程から実務型のテスト問題をAIで自動生成する仕組みを検討した際の考え方と、実装上の工夫について紹介します。独自のプロンプト設計やアルゴリズムの詳細には触れず、設計思想と技術選定の観点を中心にまとめます。

従来手法の問題点

テストが「知識確認」に留まりやすい

市販の問題集や汎用テンプレートは、ISMSの一般的な規格要求事項(JIS Q 27001など)に基づく設問が中心です。そのため「このルールを知っているか」は確認できても、「この場面でどう判断すべきか」という実務判断力までは測れないケースが多くあります。

問題作成の工数が大きい

自社の規程に即した設問を作ろうとすると、規程を読み込んだ上で難易度や対象者ごとに問題を作成する必要があり、情報セキュリティ担当者にとって大きな作業負荷になります。

多言語対応と教育証跡管理が別課題として存在する

外国人スタッフが在籍する組織では、テストの多言語対応が必要になりますが、翻訳コストや訳のブレが発生しやすい領域です。また、外部審査や内部監査に向けて「誰がいつ何を受験したか」を証跡として残す仕組みも別途必要になります。

解決の考え方

上記の課題に対し、「汎用の既製問題を使う」のではなく、「自社の社内規程そのものを入力として、実務判断を問う設問をAIに生成させる」というアプローチを採用しました。

ポイントは、単に規程の条文をそのまま設問化するのではなく、「この場面でどう判断すべきか」という状況設定型の設問に変換する設計にしたことです。加えて、対象者(一般スタッフ/ISMS管理者)や難易度によって、問う深さを変えられるようにしています。

「実務判断力を問う良い設問」かどうかは、次のような観点で確認する前提で設計しています。

  • 規程本文との整合性(規程の内容と矛盾していないか)
  • 選択肢の妥当性(誤答が明らかに不自然でないか)
  • 対象者に対する難易度(一般スタッフ向け/管理者向けとして適切か)
  • 実務シーンとしての自然さ(現実に起こりうる状況設定か)
  • 誤解を招く表現の有無

具体的には、次のような形で確認することを想定しています。

  • 生成された設問が、規程本文のどの条項に対応しているかを確認する
  • 設問・正答・解説の間に矛盾がないかを確認する
  • 対象者レベルに合わない専門用語が使われていないかを確認する

これらはAIによる自動判定ではなく、後述する「採用した技術」の章で触れる人による確認工程(Excel出力→担当者確認)の中で、担当者が目視で確認する前提です。

採用した技術

問題生成には Microsoft Azure OpenAI を利用しています。今回のシステムでは、社内規程という機密性の高い文書をAIへの入力として扱うため、選定にあたっては生成精度だけでなく、次のような観点で評価しました。

  • データ管理:テナント単位でデータが分離される構成であること
  • 認証連携:既存のMicrosoft 365環境とのシングルサインオンが可能であること
  • アクセス制御:利用者・管理者の権限を分けて管理できること
  • 監査・運用管理:企業のセキュリティ運用ルールに組み込みやすいこと

主な利用対象がISMS運用企業であることを踏まえ、生成AIとしての性能に加えて、企業のセキュリティ要件に合わせやすい点を重視しています。なお、実際のテナント構成・ネットワーク構成・権限設計の詳細については、セキュリティ上の理由から本記事では割愛します。

システム全体の処理フローは次のようになっています。

  • ① 企業ごとのISMS・PMS社内規程をアップロード
  • ② AIが難易度別・対象者別に実務型の設問を自動生成
  • ③ 生成結果をいったんExcelに出力
  • ④ 担当者が内容を確認・修正
  • ⑤ 確認済みの問題をシステムへ登録し、受験可能な状態にする

処理フロー図.png

図:処理フロー

AIによる全自動生成で終わらせず、④の人による確認工程を挟む「Human-in-the-loop」型の構成にしている点が設計上のポイントです。生成AIの出力をそのまま公開範囲に出す運用はリスクがあるため、実務での利用を前提に、確認・修正が前提のフローとして組み込んでいます。

運用上の工夫

多言語対応

受験画面・チャットボットともに日本語・英語・ベトナム語の3言語に対応しています。外国人スタッフが多い組織でも、翻訳の手間をかけずに全社員の理解度を確認できるようにすることを狙っています。

多言語AIチャットボット

受験中に規程の内容について疑問が生じた場合、多言語対応のAIチャットボットに日本語・英語・ベトナム語で質問できる機能を備えています。テストと学習支援を分離せず、その場で疑問を解消できるようにしている点が特徴です。

安全面の考え方としては、回答範囲を社内規程に基づく内容に限定し、規程に記載がない・判断が難しい質問については、チャットボット単独で断定的に答えず、担当部署への確認を促す設計にしています。あくまで受験者向けの補助機能であり、最終的な判断は社内規程・担当部署の判断に従うという位置づけです。具体的な回答制御ロジックの詳細は割愛します。

合格まで繰り返し受験できる出題フロー

1回で合格しなかった場合も、再受験できるフローにしています。単発の合否判定ではなく、理解度が一定水準に達するまでの学習プロセスとして設計しています。

想定している効果

  • 自社ルールに沿った実務判断力の確認ができ、汎用問題では見えにくかった理解度のギャップを把握しやすくなる
  • 日本語・英語・ベトナム語での受験に対応することで、外国人スタッフを含めた組織全体の理解度確認がしやすくなる
  • 受験履歴が自動的に記録されるため、内部監査・外部審査に向けた教育証跡の確認負荷を下げられる

本システムは、正式リリース(2026年8月末予定)に先立ち、現在社内で試験運用を行っており、次のような指標を確認しながら運用改善を進めている段階です。

試験運用で確認している指標 内容
問題作成にかかる初期工数 規程アップロードから、確認済みの問題が登録されるまでの所要時間
担当者による修正が必要になった設問の割合 AI生成後、担当者確認の段階で修正が入った設問の比率
再受験率 1回目の受験で合格に達しなかった受験者の比率
合格までの平均受験回数 合格するまでに要した受験回数の平均

まとめ

汎用的な既製テストではなく、自社の社内規程を入力として実務判断力を問う設問を生成する、という設計思想について紹介しました。AIによる自動生成だけに頼らず、人による確認工程を組み込むことで、実務での利用に耐える運用フローを目指した点がポイントです。

ISMS/PMSの教育運用や、多言語対応の社内教育コンテンツ作成において、同様の課題を持つ方の参考になれば幸いです。

関連情報

元プレスリリース:
社内規程からAIが実務型テストを自動生成「ISMS/PMS AIオンラインテストシステム」を2026年8月末にリリース

製品ページ:
ISMS/PMS AIオンラインテストシステム

参考資料:

(参考)製品概要

項目 内容
生成AIモデル Microsoft Azure OpenAI
生成対象 企業ごとのISMS・PMS社内規程に基づく実務型テスト問題
出題設計 難易度別・対象者別(一般スタッフ/ISMS管理者)に出題を分岐
確認フロー AIが生成 → Excel出力 → 担当者が内容を確認 → システムへ登録
対応言語 日本語・英語・ベトナム語(受験画面・チャットボット共通)
受験履歴 受験結果・受験履歴を自動記録し、管理ダッシュボードで確認可能

Media Fusionについて

株式会社メディアフュージョン(本社:大阪市北区)は、PMS・ISO/IEC 27001・ISO/IEC 27017を取得しており、安心して利用いただける各種パッケージシステムの開発を行っています。

6
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
6
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?