表題の試験を受け、先日合格の結果を受けました。
受験から約２か月経過しましたが、記憶が薄れているのを実感しておりますので、勉強した事などを記し備忘録とします。
公式ページ
私の知識と動機
ChatGPTとかClaudとかをブラウザで利用することはありましたが、歴史とかアーキテクチャとかは全く知らない人です。G検定なども持っていません。有効期限がない資格（とはいえ、取得年数が表示される）なのと、新しめの資格だったので今のうちに取得しておいた方が良いかもと考え、申し込みを行いました。
タイムライン
| 時期 | 行動 |
|---|---|
| 2024年12月 上旬～ | そういう試験があることを知る。 即日受けると決めて入金。 |
| 2024年12月 中旬～ | テキスト＆問題集を２周程度終える。 |
| 2024年12月 下旬～ | 携帯の公式試験アプリを購入し１週終わらせる。 |
| 2025年1月 上旬～ | 飽きて他の勉強を始める。ほぼ空白期間。 |
| 2025年1月 下旬～ | 携帯アプリで再確認を行う。 |
| 2025年2月5日 | 受験。 |
| 2025年3月18日 | 結果を通知される。 |
3月中に結果発表と案内されてはいましたが、今回は受験者が多いことが起因したのか例年よりも通知が遅かったのではないでしょうか。なかなか通知が来ず、やきもきしました。
購入したもの
- 生成ＡＩパスポート テキスト&問題集
改訂版がでているので、古い方を買わないように注意しましょう。というか、私が購入した後に改訂版が出版されました。悲しい。
- 生成AIパスポート試験対策アプリ
公式テキストは会員サイトにログインした後に、教材購入のリンクがあります。Amazonで製本版を販売されていれば購入したと思うのですが、今回は購入しませんでした。
受験後記
問題集でなんとなく覚えて、そのまま受験していたら落ちていたかもしれません。アプリを利用して分からない問題だらけでびっくりしました。公式テキストを購入しなかった弊害ですね。
アプリは記録のリセットがあると良いんですが、一度、正解マークつけてしまうと復習機能が利用できないのは難点です。
学習記録
私的なメモです。分からなかった事や、これは重要だと思っていたことを重点的に書いています。受験するにあたり、このメモだけでは知識が足りませんのでご注意を。
| 項目 | 第一次AIブーム | 第二次AIブーム | 第三次AIブーム |
|---|---|---|---|
| 年代 | 1950年代後半〜 | 1980年代〜 | 2000年代後半〜 |
| 主な特徴 | 推論や探索アルゴリズムの開発、基礎的な問題解決 | エキスパートシステム、知識表現、ニューラルネットワークの再興 | 深層学習、ビッグデータ活用、大規模言語モデル |
| 主要技術 | 論理推論、探索アルゴリズム | エキスパートシステム、ファジー理論、初期のニューラルネット | 深層学習、CNN、RNN、Transformer、GANなど |
| 代表的な成果 | ELIZA、SHRDLU、General Problem Solver (GPS) | MYCIN、DENDRAL、IBMのDeep Blue | AlphaGo、ChatGPT、DALL-E、Stable Diffusion |
| 主要研究機関 | MIT、スタンフォード、CMU | 日本の第五世代コンピュータプロジェクト、MITなど | Google、OpenAI、DeepMind、Anthropic |
| 計算リソース | 極めて限定的 | 比較的限定的 | 大規模GPUクラスターの活用 |
| データ量 | 少量 | 中程度 | 大量（ビッグデータ） |
| 応用分野 | 限定的な問題解決、基礎研究 | 医療診断、製造業、金融など特定分野 | 画像認識、自然言語処理、音声認識、自動運転など広範囲 |
| AIの位置づけ | 人間の知能を模倣する試み | 特定領域の専門家を補助 | 汎用性の高い知能システム |
| 失敗の原因 | 計算能力の不足、過度の期待 | 知識獲得のボトルネック、計算リソースの制約 | まだ継続中（倫理的課題、説明可能性など） |
| 社会的影響 | 限定的 | 業務効率化、専門知識のシステム化 | 労働市場の変化、プライバシー問題、創造性支援 |
モデルの系譜
基本的なモデル構造
- ボルツマンマシン:
- 可能性のある答えをたくさん出し、最も良い答えを選出
- 制限付きボルツマンマシン:
- 人工ニューロンの接続を特定のルールで制限
- データ処理を入力部分と推定部分の2つに分けることで効率化
主要なニューラルネットワーク
- CNN (Convolutional Neural Network) :
- 画像処理に特化
- 画像の局所的な範囲から特徴を抽出し、次の階層に対応付け
- VAE (Variational Autoencoder) :
- 変分自己符号化器
- エンコーダ → 潜在変数 → デコーダのプロセス
- 入力データを重要な特徴を捉えた潜在ベクトルに変換し、
元のデータに近いものを生成
- GAN (Ganerative Adversarial Networks) :
- 敵対的生成ネットワーク
- 生成器と識別器の対立構造で学習
- RNN (Recurrent Neural Network) :
- 回帰型ニューラルネットワーク
- シーケンスデータに適した技術
- 隠れ層（リカレント層）で過去の情報を記憶しながら処理
- 長期間にわたる情報では勾配消失の問題が発生
- LSTM (Long Short-Term Memory) :
- 長・短期記憶
- メモリセル、入力ゲート、出力ゲート、忘却ゲートの構造で長期依存関係を学習
- 長文処理での精度低下や並列学習の難しさがある
Transformerモデル（自然言語処理）:
- 種類:
- GPT（Generative Pre-trained Transformer）
- BERT（事前学習 > 教師なし学習または自己教師あり学習）
- RoBERTa
- ALBERT
- 特徴:
- Self-Attention：入力シーケンスの各要素の関係を捉える機構
知的財産権
-
特許権：発明を保護
-
著作権：美術などの精神的な作品を保護、保護期間は著作者の死後７０年
-
意匠権：外観デザイン全般を保護
-
商標権：商品やサービスに使用するマークを保護
人間中心のAI社会原則. 基本理念
- 人間の尊厳が尊重される社会
- 多様な背景を持つ人々が多様な幸せを追求できる社会
- 持続性ある社会
AI利活用原則（１０の原則）
- 人間中心
- 安全性
- 公平性
- プライバシー保護
- セキュリティ確保
- 透明性
- アカウンタビリティ（説明責任）
- 教育・リテラシー
- 公正競争確保
- イノベーション
限定提供データ
- 限定提供性：業として特定の者に提供される情報であること
- 相当蓄積性：電磁的方法により相当量が蓄積されていること
- 電磁的管理性：パスワード等でアクセス制限されていること
ソーシャルエンジニアリング攻撃
- ヴィッシング:
- 電話を利用したフィッシング詐欺
- スミッシング:
- SMSを利用したフィッシング詐欺
- ブラックメール:
- 秘密情報や個人情報を公開しない代わりに金銭を要求すること
LLMのベンチマーク
- GLUE:
- さまざまなタスクにおけるパフォーマンスを評価するリーダーボード
- SQuAD:
- Wikipediaの記事から作成された質問応答データセット
- SuperGLUE:
- GLUEをより難しくしたベンチマーク
- CoLA:
- 文法の正確さを計るベンチマーク
その他の重要用語
大規模言語モデル（LLM）の学習
- 事前学習、プレトレーニング
- 自己教師あり学習
言語モデルの基礎
-
n-gram:
- ある単語の並びに続く単語を予測するモデル
- n個の連続する単語・文字
-
ニューラル言語モデル:
- word2vec:
- CBoW：周辺の単語からある単語を予測
- skip-gram：ある単語から周辺の単語を予測
- word2vec:
生成モデルの制御
- top-kサンプリング：次に生成されるトークンをk個に絞る（計算効率が良い）
- LLMパラメータ:
- Temperature：0-1の範囲、単語の生成確率の偏り（0に近づくほど定型的）
- Top-p：累積確率値の偏り、出力のランダム性を調整
学習と最適化
- ハイパーパラメータ:
- モデルの学習前に値を決めておくパラメータ（バッチサイズ、学習率など）
- 学習の高速化:
- データセットを多くのサブセットに分割して計算を並列化
- スケーリング測:
- LLMのパラメータ、データセットのサイズ、計算量が増えるにつれ、損失がべき乗に従って減少する法則
- データの刈り込み:
- 学習にとって重要ではないサンプルを取り除く方法
先進的LLM技術
- コンテキスト内学習:
- LLM自身が与えられたプロンプトから行うべきタスクを理解する能力
- プロンプトでの入力例:
- One-Shotプロンプティング（入力例が1つ）
- Few-Shotプロンプティング（入力例が複数）
- 蒸留:
- 大きなモデルから、小さなモデルへ知識を移行する技術
- モデルサイズの縮小と、推論の高速化
- Retrieval-Augmented Generation (RAG):
- 外部の文書集合から関連文書を検索して言語モデルに入力として与える技術
- Chein-of-Thought:
- プロンプト内に思考過程を加え、複雑な推論を可能にする技術
- 推論する順序を明示的に示す方法
データ分析手法
- クラスタリング:
- 似ているデータをグループに分ける手法
- 階層的クラスタリング（例：ウォード法）
- 非階層的クラスタリング（例：k-means法）
社会的視点
- AI効果:
- AIが課題を解決し原理が明らかになると「その程度の能力は知能ではない」と評価してしまう人間の心理