【定点観測】「JDLA Generative AI Test 2024 #1」を受けてきたので、対策と過去試験比較をメモする【3戦目】

先週末が「JDLA Generative AI Test 2024 #1」の試験開催日でした。
私も生成AIに関わるエンジニアの一人ですが、こちらの試験は毎回最新の潮流を反映した試験問題が出題されます。
このとんでもなく速い生成AIの盛衰の中で、私としては「自分がちゃんと時代についていけているか？」を確認する良い機会となっていますので、「2023 #1」「2023 #2」に引き続き今回も受験してみました（皆勤賞継続！）。

3回も受けると、試験の傾向ですとか対策も見えてきますので、メモに残しておきたいと思います。（※試験結果を追記しました(7/8)）

「JDLA Generative AI Test 2023」とは？

日本ディープラーニング協会が主催する、生成AIのスキルを評価するためのミニテストです。
自身のスキルを客観的に評価し、合格するとオープンバッジがもらえて自信を持てる、そんなテストになっています。
2023年6月に第1回目（受験記はhttps://qiita.com/t_horumon/items/56c9b16c17bc8e7b3b3a 参照）、2023年12月に第2回目（受験記はhttps://qiita.com/t_horumon/items/12db83fabd9c15fbe7a8 参照）のテストが開催され、今回は3回目の開催となります。

試験形式の変更点

前回の試験からは、レギュレーションにはほぼ変更がない形でした。
そろそろレギュレーションが固まってきたので、「資格」として取得を考えられている方には対策が立てやすくなったかもしれません。
なお、申込期間が多少長くなり、また、試験結果が出るまでの期間も前回までは1週間程度だったものが2週間ほどに伸びているので、スケジュールとしては少し余裕を持ったものとなっているかと思います。

	2023#1	2023#2	2024#1
受験資格	どなたでも受験可能	どなたでも受験可能	どなたでも受験可能
試験時間	15分	20分	20分
試験形式	択一式/多肢選択式 20問	択一式/多肢選択式19問、記述式1問	択一式/多肢選択式19問 ・ 記述式1問
受験費用	2,200円	2,200円	2,200円
申込期間	2023年6月7日～2023年6月20日（14日間）	2023年10月16日～2023年11月28日（1ヵ月半）	2024年4月1日～2024年6月4日（2カ月）

シラバスの変更点

2023 #2からのシラバス上の変更点を下記にまとめます。
こちらも軽微な変更であり、大枠の試験範囲には影響はなさそうです。

区分	項目	2023#2変更点	2024#1変更点
生成AIの技術(特徴)	大規模言語モデルにおける生成の仕組みを理解している。	キーワードに"Chain-of-Thought"が追加
	大規模言語モデルの性能評価について知っている。（リーダーボード、ベンチマーク）	項目から新規追加
生成AIの技術(動向)	大規模言語モデルのオープン化の動向と原因について理解している。	キーワードに"推論の効率化"を追加	キーワードの"推論の効率化"を"量子化や蒸留による推論の効率化"に変更
	大規模言語モデルの性能を決める要素の動向と原因について理解している。		キーワードに"LoRA"を追加
生成AIの利活用(動向)	業界に特化した生成AIの活用方法を理解している。	キーワードに"LLMを利用したサービス（ChatGPT・Bardなど）"、"RAG (Retrieval-Augmented Generation)の利用"、"エージェント・コード生成"、"外部ツール呼出し"を追加	キーワードに"Claude"を追加
生成AIのリスク(特徴)	生成AIが、技術面・倫理面・法令面・社会面などで多様なリスクを孕むことを理解している。	キーワードに"悪用、誤情報の拡散"、"敵対的プロンプト"、"特定の生成AIサービスへの依存"、"環境問題"が追加	キーワードの"敵対的プロンプト"を"プロンプトインジェクションなどの敵対的プロンプト"に変更

その一方で、既存のキーワードでも内容を強化しているキーワードがあること、公式のオンライン説明会にて説明がされていました（開始6分ほどより）。
明確にピックアップされたキーワードについては積極的にキャッチアップした方が良く、例えレギュレーションを理解していても、説明会動画は確認した方が良いと思います。

試験対策①　前提知識を取得する

基本的には知識を問われるテストですので、受験する方は知識をインプットすることから始めましょう。

「Transformarって何ぞや？」「プロんプティングって何ぞや？」という方は、関連知識を広く浅く頭に入れることから始めることをオススメします。
個人的には、別試験の参考書ですが、下記が広く浅く知識として頭に入れるには、網羅性があって良かったです。

生成AIパスポート公式テキスト

その上で、シラバスを眺め、知らない単語を潰していきましょう。
シラバスの単語については、試験公式ページから用語集へのリンクがあるので、その用語集で最終確認をしました。（今回、私は、この用語集の確認だけで試験に突撃しました。）

試験対策②　最新動向をキャッチアップする

「Generative AI Test」は、前提知識もそうですが、最新動向がキャッチアップできているか否かを確認するための試験として私は活用しています。
それくらい、最新動向の問題が出ている印象を受けています。

例えば、今回私は、「RAG」と「マルチモーダル」が世の中の潮流と感じ、その問題が出るだろうと踏んでいました。

RAGについては、生成AIサービスの多くがRAGで実装されている現状があり、データマネジメントカンファレンスの基調講演でRAGの仕組みが紹介されているのを目の当たりにし、その注目度に触れていたことが理由でした。
セッションではなく、基調講演ですからね。

また、マルチモーダルについても、製品潮流から感じていました。
2023/12にGoogleがBardからマルチモーダル対応したGeminiに進化させてリリースし、それを追って、時代を作っているOpenAIがオムニチャネル対応のGPT-4oをリリースしました。この流れから、2024年はマルチモーダルの年であることは感じていました。

このように、日ごろから生成AIの潮流をキャッチアップすることが大切となっており、自分が感じている潮流が、JDLAのような最先端の方々が感じている潮流とズレていないかをテスト受験によって確認することができます。

ちなみに、問題は公開できないのであまり詳しいお話はできませんが、「私の感じている潮流」はそんなにはズレていなかったようです。

試験対策③　記述試験対策をする

前回より、記述問題が1問出てきます。この記述問題、生成AIが採点補佐をすることが特徴でもあります。
まぁ、生成AIが点数を付けやすいような回答文に心当たりはないのですが。。。

この記述問題ですが、どの程度のものなのか、初めて受験される方は不安になられることでしょう。
そういった場合、是非、公式のオンライン説明会をご覧ください。
2023 #2の記述問題と実際の回答例をご紹介して下さっています（開始27分ほどより）。
どれくらいの文量で、どの程度の粒度で記載すれば良いのか、イメージが掴めると思います。

ちなみに、私は今回、選択式問題が終わった段階で14分経過し、記述式で5分くらい丁寧に書いたので、終わった段階で残り30秒（見直しできず）って感じでした。
あらかじめ練習する必要はないかと思いますが、どれくらいの文量を何分で書くのかのイメージは持っておくべきでしょう。

まとめ

前回の記事のまとめにも記載しましたが、「試験勉強をした人」ではなく、「日々、生成AIを触っている人(情報に触れている人)」が合格する試験だったと思います。
テスト自体の知名度は低いので、資格としてキャリアに使える状態には至っていないかとは思いますが、自分が最先端についていけているかを2000円で確認できるのであれば安いものかなと思います。

参考（2024#1のシラバス）

生成AIの技術

項目	確認点	キーワード
特徴	テキスト、画像、音声等の生成モデルに共通する技術的な特徴を俯瞰して理解している。	確率モデル、ハルシネーション (Hallucination)
	大規模言語モデルの基本構造を理解している。	基盤モデル、言語モデル、大規模言語モデル (LLM)、トランスフォーマー (Transformer)、アテンション (Attention)、GPT-3
	大規模言語モデルにおけるモデルの学習方法を理解している。	教師あり学習、自己教師あり学習、事前学習、ファインチューニング
	大規模言語モデルのアラインメントを理解している。	アラインメント (Alignment)、人間のフィードバックによる学習 、インストラクション・チューニング (Instruction Tuning)
	大規模言語モデルにおける生成の仕組みを理解している。	コンテキスト内学習 (In-Context Learning)、Zero-Shot、Few-Shot、Chain-of-Thought、サンプリング手法
	大規模言語モデルの性能評価について知っている。	リーダーボード、ベンチマーク
動向	テキスト、画像、音声等の生成モデルの技術動向を俯瞰して理解している。	条件付き生成、拡散モデル (Diffusion Model)
	大規模言語モデルのオープン化の動向と原因について理解している。	オープンコミュニティ、オープン大規模言語モデル、オープンデータセット、オープンソース、量子化や蒸留による推論の効率化
	大規模言語モデルの性能を決める要素の動向と原因について理解している。	スケーリング則 (Scaling Laws)、データセットのサイズ、データセットの質、モデルのパラメーター数、計算資源の効率化、LoRA、GPU
	大規模言語モデルのマルチモーダル化の動向と原因について理解している。	マルチモーダル
	大規模言語モデルの外部ツール・リソースの利用の動向と原因について理解している。	学習データの時間的カットオフ、大規模言語モデルの知識、大規模言語モデルの不得意タスク

生成AIの利活用

項目	確認点	キーワード
特徴	生成AIには何ができるのかを理解している。	ケイパビリティ
	生成AIをどのように使うのかを理解している。	活用事例
	生成AIの性能を拡張する使い方を理解している。	プロンプトエンジニアリング
動向	生成AIの新たな活用方法を生み出すためのアプローチを理解している。	ハッカソン、自主的なユースケース開発、インターネット・書籍、活用の探索
	生成AIの活用を制限する要因を理解している。	生成AIの学習データ、生成AIの性能評価、生成AIの言語能力
	業界に特化した生成AIの活用方法を理解している。	LLMを利用したサービス (ChatGPT, Bard, Claude など)、RAG (Retrieval-Augmented Generation)の利用、エージェント・コード生成、外部ツール呼出し、広告クリエイティブへの応用、ドメイン固有

生成AIのリスク

項目	確認点	キーワード
特徴	生成AIが、技術面・倫理面・法令面・社会面などで多様なリスクを孕むことを理解している。	正確性、ハルシネーション (Hallucination)、セキュリティ、公平性、プライバシー、透明性、悪用、誤情報の拡散、プロンプトインジェクションなどの敵対的プロンプト、特定の生成AIサービスへの依存、環境問題
	生成AIの入力（データ）と出力（生成物）について注意すべき事項を理解している。	著作権、個人情報、機密情報、商用利用、利用規約
動向	生成AIについて、現時点では認識されていない新たなリスクの出現とそれに伴う規制化の可能性を理解している。	新たなリスク、規制化、情報収集
	生成AIの活用に伴うリスクを自主的に低減するための方法を把握している。	自主対策

試験結果(7/8追記)

今回も無事に合格することができました。
やはり、前回よりも得点が取れているので、ほど良き難易度に落ち着いてきたのかなと思います（個人的には、技術点が採れていないのが反省ですね、コンサルとしてはまだしも、エンジニアとしてはダメですねorz）。
全体としても、受験者数は1,775名、そのうち合格者数は1,262名、合格率は71.10％とのことですので、私の感覚はズレていないかと思っています。
これ以降も、これくらいの難易度で落ち着くのではないかなと個人的には予想しています。