はじめに
こんにちは！貫徹maruと申します。
会社で生成AI利用担当となり、初学者ながら手探りで勉強を始めています。
最終的には業務で活用できるツール作成を目標としています。
前回記事はこちら "【生成AI初学#1】生成AIの概要について"
今回の内容
前回記事を書いている際に、生成AI関連の用語の意味が分からないという問題がありました。
そこで、今回は生成AIに関する用語を整理し、分からない単語があれば簡単に内容をまとめ、深掘りすべき内容については後に解説記事を書いていくこととします。
間違った記載がありましたらご指摘いただけると助かります。
目次
生成AIの構造に関する用語
ニューラルネットワーク
大量のデータから自動学習をしてくれるプログラムまたはモデルのこと。
人間の脳に似た方法でパターン認識を行うためを行うため、複雑なデータの関係性をとらえることができる。
▽参考リンク
ニューラルネットワークとは - IBM
Transformer
ニューラルネットワークのネットワークアーキテクチャ（設計図のようなもの）の一つ。ChatGPTの基盤となるGPT系モデルもTransformerをベースにしている。例えばBERT、GPT、PaLMなどの最新モデルに応用されている。
▽参考リンク
Transformerモデルとは - IBM
エンコーダ(エンコーダ・デコーダ型モデルの場合)
入力データを『意味のある特徴ベクトル』に変換する装置のこと。
埋め込み後の入力データをさらに文脈に沿ったものへ変換する。
デコーダ(エンコーダ・デコーダ型モデルの場合)
エンコーダが作った特徴ベクトルと埋め込み後の入力データを使って、新しい出力を予測・生成する装置のこと。
（※GPT系は「デコーダのみ」を使う）
オートエンコーダ
入力データを効率よく本質的な特徴まで圧縮（エンコード）し、この圧縮表現から元の入力を再構成（デコード）するように設計されたニューラルネットワークの一種。
データを一度圧縮して、同じものを復元する。圧縮することで重要な構造を抽出し、復元後にどれだけ忠実に再現できたか評価することで入力データの本質を学習する。
▽参考リンク
オートエンコーダーとは - IBM
基盤モデル
最小限の微調整で様々なタスクに使用できる、幅広いラベルなしデータセットでトレーニングされたモデル。
特定のタスクに合わせて、特定のデータセットを用いてモデルを作るのではなく、汎用的なモデルをまず作ってそのあとファインチューニングで合わせていくという考えのもと作られた。
▽参考リンク
What are foundation models? - IBM
LLM（Large Language Model）
多くのTransformerベースのアーキテクチャを土台にして作られた基盤モデルの一種。超大量のデータを使って事前学習を行っている。
埋め込みに関する用語
トークナイゼーション
入力された文字列をモデルが扱う基本的な単位のトークンに分割すること。分割する実装のことをトークナイザと呼ぶ。
▽参考リンク
Tokenization
単語埋め込み（Word embedding）
多次元空間で単語をベクトルとして表現する方法。一般的な手法であるWord2Vecでは"ある単語の意味は周辺に出現する単語によって表すことができる"という考えで、周囲の文脈単語に基づいてターゲットの単語を予測している。
ニューラルネットワークでは文章をそのままの形式で処理できないため、ベクトルにする必要がある。
▽参考リンク
単語埋め込みとは - IBM
文脈化単語埋め込み（contextualized word embedding）
周囲の文脈に基づいて、単語が異なるベクトル表現となるように埋め込みを行う方法。
単語埋め込み（Word embedding）では多義語（動物の"マウス"とPCの"マウス"）で同じベクトルを使用してしまうという問題があった。
文脈化単語埋め込みでは文脈に沿って異なるベクトルを表現するので、多義語や文脈に依存する意味を処理できるようになった。
▽参考リンク
Contextualized Word Embeddings - AI wiki
学習・調整に関する用語
ファインチューニング
事前学習済である基盤モデルを特定の用途に合わせて調整、転移学習をすること。
一からモデルを作らずとも、基盤モデルの汎用性を活用しつつ小規模なタスク固有のデータセットで特定の用途のモデルに調整できる。
▽参考リンク
ファインチューニングとは - IBM
AIアライメント
AIモデルが達成すべき目標や、人間の価値観から逸脱した動作をしないようにすること。堅牢性（Robustness）、解釈可能性（Interpretability）、制御可能性（Controllability）、倫理性（Ethicality）の４原則が主な観点として挙げられている。
▽参考リンク
AI Alignment: A Comprehensive Survey
プロンプト
プロンプトとは、生成 AI に特定のタスクを実行するように要求する自然言語のテキストのこと（チャットボットに投げているもの）。
言語モデルから最良の結果を引き出すためにはプロンプトを詳細で効果的に記載する必要がある。
▽参考リンク
プロンプトエンジニアリングとは何ですか? - AWS
利用・応用に関する用語
RAG
特定の関連データソースからの情報を用いて、生成AIの回答の精度と信頼性を高める技術のこと。
基盤モデルにはない情報や信頼できる情報を入力データとして追加することで、より正確な出力ができる。
▽参考リンク
What Is Retrieval-Augmented Generation, aka RAG? - NVIDIA
最後に
分からない用語はまだ多くあるので、適宜更新していく予定です。
また、参考にしたリンクも添付していますので気になったらそちらで詳細を把握していただければと思います。
ご覧いただきありがとうございます。