はじめに
こんにちは！貫徹maruと申します。
会社で生成AI利用担当となったため初学者ながら、手探りで勉強を始めています。
最終的には業務活用できるツール作成を目標としております。
前回記事はこちら
【初投稿】生成AIのことを全く知らない私が仕事で生成AI利用促進担当になってしまったので勉強する。
今回の内容について
意気揚々と勉強する！と宣言した手前お恥ずかしいのですが自分が何を知らないのかも分からない状態でした。
なのでまず生成AIの概要について調査し、何を学ぶかという指針を決めていきます。
目次
１.生成AIの定義
２.生成AIの仕組み
３.どうやって学習している？（Transformerについて)
４.結局何を勉強するか
５.最後に
生成AIの定義
ChatGPT等は俗に生成AIと呼ばれています。
生成AIは何を指すのか、その定義について知らないと気づいたので調べてみました。
- 生成AIの定義について
野村総合研究所の未来創発センターが出しているレポートによると
生成AIとは 「様々なコンテンツを生成する学習能力のあるAI」 の総称。としている📝
つまり、生成AIはAIの一種であり、テキスト生成や音楽生成、画像生成などが可能なAIをまとめて呼んだものといえます。
生成AIの仕組み
生成AIの定義は分かりました。
では 生成AIはどうやって生成を行っているのかという点について調べていきます。
我々の素朴な質問や問いかけに対して、自律的に回答を生成してくれる生成AI君
その裏には涙ぐましい量のトレーニングがありました😭
インターネットなどから取得した大量のデータを利用して、文章内の単語やプログラミング内のコマンドを予測する 「穴埋め問題」 を膨大な回数行って、より正解を出せるように自己トレーニングをした結果、自分たちの問いに対して期待される答えを出せるようになりました。
我々大好きChatGPTは、GPT-3の時点でテキストデータ量は約570GB（推定）、パラメータ数は約1750億個の膨大なデータで学習を行っていたようです。
こうして、大量のデータで学習をした「モデル」のことを基盤モデルと呼び
その中でも膨大なデータで学習されて自然な言葉やコンテンツを理解、生成する能力を持つAIシステムのことをLLM （大規模言語モデル） と呼びます。
どうやって学習している？（Transformerについて)
うまくまとまったような気がしましたが、まだ深堀っていきます。
LLM君は一体何者なのでしょうか🤔
そもそも 「モデル」 とはなんでしょうか。
そこでChatGPTのベースとなる技術のTransformerについて調査しました。
Transformer とはニューラルネットワークのネットワークアーキテクチャのことです。
はい、よく知らない単語が2つ出てきましたね😑
簡単に説明すると
-
ニューラルネットワーク
→大量のデータから自動学習をしてくれるプログラムまたはモデル。人間の脳に似た方法で意思決定を行うため、複雑なデータの関係性をとらえることができます。 -
ネットワークアーキテクチャ
→ニューラルネットワークの設計書のようなもの。
（Transformerの他にはRNNやCNN等がある）
ネットワークアーキテクチャを利用して学習を済ませたニューラルネットワークのことを一般に 「モデル」 と呼びます。設計書（ネットワークアーキテクチャ）が異なれば出来上がってくる 「モデル」 の性質も違ってきますね！
Transformerはアテンション機構と呼ばれる仕組みのみを利用することで、短い学習時間でより高品質、汎用性の高いモデルを作成することができるようになったそうです。
（後に詳しい仕組みはまとめるつもりです）
▽Transformerについての論文
Attention Is All You Need
結局何を勉強するか
- Transformerについて勉強し、解説記事を書く
- 今回調べる中で、知らない単語について調べて理解する
（エンコーダ、デコーダ、トークナイゼーション、アライメント、ファインチューニング、文埋め込みetc.）
最後に
今回は初回ということで、ざっくり生成AIの概要や仕組みを調べてまとめてみました。
実装からは遠ざかってしまったように思いますが、しっかりと仕組みを押さえてより深い知識をつけていけたらと思っています。
次回は生成AIに関する固有名詞の意味についてざっくりと調べていきたいと思っています。
よろしくお願いします😊