はじめに
株式会社NTTデータ デジタルサクセスソリューション事業部 で Databricks や AWS を推進している nttd-saitouyun です。
Databricks Certified Generative AI Engineer Associate に遅ればせながら
合格しましたので、試験の概要や感想について記載いたします。
2024年1月にリリースされた一番新しい資格です。なんと日本語にも対応しています。
まだ情報が少ない状況だと思いますので、本記事が皆様の学習の参考になれば幸いです。
試験概要
生成AIのソリューションをDatabricksを用いて、設計、構築、運用（評価・改善） を行うための知識・経験が問われる試験です。
概要はすでに以下の記事にまとめていただいていたので割愛します。
学習方法
私は試験に対応したトレーニングである Generative AI Engineering with Databricks を公式eラーニングサイトで独学にて進めました。
また、日頃から新機能を試していたりしています。記事化もしていますので、興味があればこちらをご覧ください。
トレーニング：Generative AI Engineering with Databricks
トレーニングの内容は以下の通りです。
-
Generative AI Solution Development
- Introduction to RAG
- Preparing Data for RAG Solutions
- Vector Search
- Assembling and Evaluating a RAG Application
-
Generative AI Application Development
- Foundations of Compound AI Systems
- Building Multi-Stage Reasoning Chains
- Agents and Cognitive Architectures
-
Generative AI Application Evaluation and Governance
- Importance of Evaluating GenAI Applications
- Securing and Governing GenAI Applications
- GenAI Evaluation Techniques
- End-to-end Application Evaluation
-
Generative AI Application Deployment and Monitoring
- Model Deployment Fundamentals
- Batch Deployment
- Real-Time Deployment
- AI System Monitoring
- LLMOps Concepts
プロンプトエンジニアリングから始まり、ベクトル検索を使ったRAG（Retrieval-Augmented Generation）アーキテクチャ、複数のAIや処理を組み合わせる複合AIシステム／AIエージェントまでアーキテクチャを徐々に進化させながら学べるようになっています。
その後、生成AIを正しく評価する方法や、安全に使うためのガバナンスを学び、最後に、生成AIをシステムとして稼働させるための運用を学びます。
Databricksの機能や実装だけでなく、一般論から解説してくれるので、Databricksを活用していない方にもオススメです。
有償ですが、日本語でもトレーニングを受けることができます。
練習問題
試験ガイドにサンプル問題が答えつきで5問掲載されています。
（抜粋）
こちらで問題でトレーニングの理解度を測りましょう。
※私は活用していませんのでなんとも言えないのですが、Udemy にも問題集などが出ていました。不安な方はこちらを活用するのもありだと思います。
所感
所感を記載します。基本的に私の主観ですのでご注意ください。
難易度-出題内容
そのうち Databricksの認定資格 全部とってみたので体系的にまとめるの記事の方にもまとめようと思いますが、難易度-出題内容マップとしては以下の位置付けに感じました。
難易度
難易度は、まさにアソシエイトといったレベル感で、細かい論点よりは基礎的な問題が多く、データエンジニア・アソシエイトと同程度のように感じました。
上述したトレーニングの内容は理解しておかないといけないですが、ラボ（練習）問題ほどの難易度ではないように私は感じました。
ただ、SQL/Pythonでデータ処理したことがない人がデータエンジニアの試験を難しく感じるように、生成AIに関するソリューションを組んだことがない人が学習するにはそれなりの勉強が必要ですのでしっかりとご準備いただくのが良いと思います。
すでに生成AIに取り組まれている方は比較的取り組みやすい試験だと思います。
出題内容
ただ、出題内容は概念寄りで、コーディングの問題は数問しか出ませんでした。
コードはマニュアルのこちらのページに載っているような、とてもベーシックなものが問われる形でした。（このページのコードが出題されるわけではないのでご注意ください。あくまでイメージです。）
まあ、生成AIのAPIは進化途中で今後も変わっていくことが目に見えていますので、試験の問題として出題しにくいのかもしれません。
内容としては、「あなたは○○業界の生成AIエンジニアです。社内の〇〇業務にRAGを使った生成AIソリューションを導入しようとしています。関心事項はレスポンスタイムとコストです。何をどうすればいいですか？」といったソリューションアーキテクト的な問題が多かったです。
あと、LLM の特徴に関する問題も数問あったので、Databricks とインテグレーションが進んでいる OSS のモデルの特徴は押さえておいた方がいいと思います。
日本語での受験について
読みにくい日本語の問題もチラホラありました。「あるある」ではありますが、日本語にしてしまうと回答の選択肢の違いがよくわからなくなる問題もあったので、何問かは捨てるつもりでいた方がいいかもしれません。
原文を見る機能が欲しい！
とはいえ、そこそこ長文の出題文もあり、英語で受けても大変そうだなという感触です。
おわりに
生成AI、Databricks ともに注目を集める技術なので、ぜひチャレンジしてみてはいかがでしょうか？
しっかり基礎から学習できるコンテンツですのでオススメです！
その他の資格について包括的にまとめた記事も書いていますので、よろしけばご覧ください。
今年も Data + AI World Tour に向けて全認定を維持することができました💪
仲間募集
NTTデータ デザイン＆テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer
2. データサイエンス領域（データサイエンティスト／データアナリスト）
データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
DataRobotをはじめとしたAIソリューションやサービスを使って、 お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、 お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～https://enterprise-aiiot.nttdata.com/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
NTTデータとDatabricksについて
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。TDF-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～https://enterprise-aiiot.nttdata.com/service/tdf/tdf_am
TDF-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとSnowflakeについて
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。 NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。 Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
NTTデータとAlteryxについて
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。 Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。