この記事は、わたしのYouTubeチャンネルにある公開動画を転記しております。
( どこかのタイミングで、プログラミング-Google Apps Script or iPaaS-Zapier をつかって自動転記させる予定です )
転記のための時間コストを少なくしたいので、文字装飾( Markdown記法 )を極力つかわずに書いております。
こちらが動画内容です👇
📅撮影日 = 2023-10-21(土)
ひょんなことから生成AIパスポート試験を受けることになったので、手抜きしながら、学んだことの定着(記憶の定着)をねらっていきます。
・生成AIパスポートとは？
https://bit.ly/WhatIs-GenerateAIPassport
やり方はこんな感じです。
・初回のインプット( 座学、教材学習、ChatGPT PlusやGoogle Bardへ質問する )
・アウトプット( 学んだことを声に出す → YouTube動画化 )
・2回目以降のインプット( 自分でつくった動画をながら聴きする )
└朝起きてすぐ( YouTube + Chromecast )
└ジョギング中( YouTube + スマホ )
などのやり方で繰り返しながら学習します。
技能を上げるには繰り返しが大切です。
初回のインプットではとにかく集中して、2回目以降のインプットでは繰り返し学習のためにとにかく手抜きします。
動画編集をしている時に、繰り返し学習ができる点も、楽ちんだなと感じています。
⏳開始時間
00:00 イントロ
00:33 本編開始
01:01 「生成AIパスポート公式テキスト」( Kindle版 )から https://bit.ly/GenAIPass-Text
└ BERT( Bidirectional Encoder Representations from Transformers )とは？
01:29 BERTを略さない英語「Bidirectional Encoder Representations from Transformers」の意味を、日本語に翻訳して。
└ 「トランスフォーマーからの双方向エンコーダー表現」です。
01:54 「トランスフォーマーからの双方向エンコーダー表現」という直訳から、BERTの能力や役割が推測しにくいので、BERTがどのような特徴をもつ言語モデルかを説明して。
└ このモデルの特徴は、文の前後の文脈を同時に考慮する「双方向」の学習ができる点です。
03:37 このモデルの特徴は、文の前後の文脈を同時に考慮する「双方向」の学習ができる点です、という説明が理解しにくいので、より分かりやすく、具体的におしえて。
└ 04:37 「多くの言語モデルは文の前方または後方の文脈しか考慮しない」という言語モデルの具体的な名前は、例えばGPT( Generative Pre-trained Transformer )です。
└ 07:23 BERTが「双方向」の学習をする手順も解説します。
08:50 BERTで採用された、MLM( Masked Language Model )について、この技術がどのように優れているかを説明して。説明の際には、MLMを採用していない言語モデルと性能比較をして。
└ 双方向の文脈の理解: MLMは、文中の単語をランダムにマスク( 隠す )して、そのマスクされた単語を予測する作業で訓練されます。
└ 汎用性: MLMはプレトレーニングとファインチューニングの両方で効果を発揮します。一度プレトレーニングされたモデルは、ファインチューニングすることで多くの自然言語処理タスクに対して高い性能を発揮します。
11:02 BERTのNSP( Next Sentence Prediction )についておしえて。
└ NSP( Next Sentence Prediction )は「次の文予測」という意味です。
└ 12:00 NSPの実際の流れも解説いたします。
14:06 BERT、RoBERTa、ALBERTの性能比較をしたい、表形式にして。
└ 生成された表をGoogleスプレッドシートへ転記して解説いたします。
└ 📊自然言語処理モデル 性能比較表 2023-10月 | ChatGPT Plus & Google Bard | Googleスプレッドシート https://bit.ly/Model-Comp-2023-10
└ 15:41 ChatGPT Plusが作成した表
└ 18:27 Google Bardが作成した表
21:17 最後に、BERTが開発されたことによる、自然言語処理モデルに対する具体的な便益を教えて。
└ 文脈の理解が深まった、事前学習が効率化できた、多様な自然言語処理タスクへ適用できるようになった、一般的なモデルへ活用できるようになった、計算コストを削減できた、などの便益です。
└ これらの便益は、BERTが双方向の文脈を考慮すること、大量のデータで事前学習を行うこと、そしてMLMといった独自の学習戦略を採用していることに起因しています。
✓ 🎥My videos are strongly related to this video. | この動画と関連が強い私の動画 ↙
・“生成AIパスポート 試験学習(動画公開日で降順)”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghMuGz8uBLRl1XyLqeRCIY11
・“生成AIパスポート 試験学習(動画公開日で昇順)”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghOQB8T6uppVO_juFi-4xL3E
・“山中一司がお金を払って買った情報”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghOW4Cnbj6lnltyToJae_Rb5
・“自己投資”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghP1Gxpymfr6fVF9pRYuGt1P
・“効果的にマインドマップを活用するヒント”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghMTIuF-n2Uyaw6cqEMFt0aL
・“マインドマイスター( クラウド型マインドマップ )を活用するヒント”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghMCeUohu19ZbUilmcZnEJ1q
・“マインドマイスター( クラウド型マインドマップ )でのプレゼンテーションの例”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghMXJCYhmWK4bjAUG1uy78li
・“効果的にChatGPTを活用するヒント”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghPfo1c-qmO2ERD7ldSgmblR
・“効果的にGoogle Bardを活用するヒント”シリーズ
https://www.youtube.com/playlist?list=PLpQhBHT4oghNuO0fwAD9943M0tYh7nlkI
✓ 🎥Shortened URL for this video | この動画の短縮URL ↙
https://bit.ly/46FI9o6