概要
公私共にLLMのお世話になることが多いため、LLMに所望の出力を高精度に出力させるスキルを向上させるため、改めてプロンプトエンジニアリングについて勉強してみました。その過程でPEP検定試験という試験が有ることを知りました。勉強ついでに受験してみた所、無事
合格したので、記憶が薄れないうちに色々とまとめておこうと思います。
PEP検定とは？
Prompt Engineering Professional検定を略してPEP検定という名称が用いられています。日本プロンプトエンジニアリング協会という団体が試験の実施及び認定を行っています。以下は公式からの引用です。
Prompt Engineering Professional
生成AIへの指示設計・評価・応用スキルを体系的に測定する、日本初のプロンプトエンジニアリング認定試験です。
ChatGPTをはじめとする生成AIの業務活用スキルを認定し、 実務への応用力と専門的スキル習得を重視。 ビジネスパーソンのキャリアアップと企業の生産性向上を支援します。
試験概要
- 受験費用: ¥11,000(税込)
- 試験時間: 60分
- 問題数: 100問
- 合格基準: 70%以上の正解
- 受験方法: CBT試験(全国340ヶ所以上の試験センターで随時実施)
詳細は以下の公式情報を参照下さい。
試験対策
試験対策として以下に取り組みました。
公式資料
協会が試験対策として公開している公式の学習資料にまず目を通しました。公式資料はよくまとまっており、分かりやすい資料であり、LLMやプロンプトエンジニアリングについて頭を整理するのにとても良い資料でした。ただ、この資料どうやらLLMに書かせているのでは？という印象を受けました。その理由は以下です。
- 語尾の内容が重複している。(例：○○です○○です。)
- 漢字が存在しない文字になっている。(例：直行の直)
ただ、ハルシネーションや技術的に間違っている内容が記載されてはいませんでした。
大規模言語モデルを使いこなすためのプロンプトエンジニアリングの教科書
資料に一通り目を通した後、この書籍も読みました。この書籍はプロンプトエンジニアリングについて実例を交えながら詳しくまとめられており、非常に分かりやすい書籍です。ただ、出版されたのが2年前ということもあり、プロンプトエンジニアリングの最新の技術については含まれていません。試験問題は予想以上に最新技術についての出題も有るので、資料をもう1周読んでおけば良かったなと試験後に思いました。
オンライン模試
非公式ですが、オンライン模擬試験を受験出来ます。無料で10問だけお試しが出来ます。Googleアカウントでログインすれば有料版(1回分購入毎に300円)も受験出来ます。こちらはフルバージョン(100問)です。本番の試験形式に割と近い出題形式の問題を解くことが出来ます。ただ、本番の試験問題では最新の技術的内容についての出題や、正しいものを全て選択する方式の問題も出題されます。この模試も今後改良され、より本番に近い出題になるかもしれません。筆者は3回分購入してお試し受験をしました。試験問題はストックされている問題から自動生成される様ですが、同じ問題が何度も出題されるのはちょっと気になりました。(本番の試験は同じ問題は出題されません。)
受験しての感想
最新の動向についての知識簿側が有りましたが、試験は余裕を持って合格出来ました。もう少し点数を取りたかったというのが本音ですが。。。
後、試験対策の資料はよくまとまっていて、頭の整理にはとても良いと思いました。ただ、試験を受験する必要が有るか？と問われると必ずしも受験が必要な試験ではないと思いました。ただ、合格後、協会に登録するとセミナーなどの案内が送られてくるようになるので、キャッチアップに活用しようと思います。
まとめ
プロンプトエンジニアリング→コンテキストエンジニアリング→ハーネスエンジニアリングとLLMを使い熟すための技術は進化しています。LLMは指示を出して所望の結果を得るフェーズから人間が設計した構造を元に所望の出力を得られるだけの物に進化したことを意味していると思います。ただ、今後もLLMから所望の出力を得るためにLLMとの対話は重要だと思います。その基礎ツールとしてプロンプトエンジニアリングは依然として重要だと思います。よって、改めてその勉強が出来たのは良かったと思います。
今後に向けて
よりLLMを使い熟すために、より新しい書籍を読んでみようと思います。この書籍は最近出版された書籍で、なおかつ目次を見た感じだとなかなか良さそうです。
