はじめに

今日の日課１７日目です。
今日は機械学習についてです。

手法

論文をperplexityで調べて、PDFをChatPDFで要約します。
論文本文は英語版とDeepLで翻訳した日本語版を保存しときます。
要約の中のわからない単語や追加の質問などをChatGPTに聞きます。
これらをWordにまとめて保存、Qiitaに投稿します。

今日の日課

今日の資料について

論文名：教師あり学習のクックブック
A Cookbook of Self-Supervised Learning
出典： arXiv:2304.12210, Computer Science > Machine Learning
https://arxiv.org/abs/2304.12210

資料内容

【アブストラクト】

知能の暗黒物質と呼ばれる自己教師付き学習は、機械学習を進歩させる有望な道である。しかし、料理のように、SSLメソッドのトレーニングは、参入障壁の高いデリケートな芸術である。多くの構成要素は見慣れたものですが、SSLメソッドのトレーニングを成功させるには、プレテキスト・タスクからハイパーパラメータのトレーニングまで、目まぐるしい選択の連続です。私たちの目標は、料理本のようなスタイルで基礎と最新のSSLレシピを構築することで、SSL研究への参入障壁を低くすることです。私たちは、好奇心旺盛な研究者がメソッドの地形をナビゲートし、様々なノブの役割を理解し、SSLがいかに美味しいかを探求するために必要なノウハウを得ることができるようになることを願っています。

【論文要約】

The Cookbook of Self-Supervised Learningは、ラベルのないデータを使って入力データの有用な表現を学習する機械学習の一種である自己教師あり学習の分野へのガイドブックです。本書では、自己教師あり学習の起源、さまざまな手法、ビジョンシステム、オーディオ、テキスト、表形式データなどさまざまな領域での実用的なアプリケーションなど、自己教師あり学習に関連するさまざまなトピックを扱っています。

本書ではまず、自己教師あり学習の概要と、教師あり学習や教師なし学習との違いについて説明しています。自己教師あり学習はラベルのないデータを使って入力データの表現を学習するのに対し、教師あり学習はラベルのあるデータを必要とし、教師なし学習はラベルを一切使用しないと説明しています。自己教師あり学習は、入力データの特定の特性を予測するモデルを学習することでこれを実現する。

本書では、自己教師あり学習の様々な手法を紹介する。対照学習は、データポイントの類似・非類似のペアを区別するためにモデルを学習させる、一般的なアプローチである。生成モデルは、入力分布から新しいサンプルを生成するためにモデルを訓練する、もう一つの手法の系列である。また、「プレテキスト・タスク」は、人間にとっては簡単だが、機械にとっては難しいタスクを定義するアプローチです。

また、このPDFでは、様々な領域における自己教師あり学習の実用的な応用例を取り上げています。例えば、言語モデリングや機械翻訳などの自然言語処理タスクのための大規模モデルの事前学習に使用することができます。また、音声認識や画像分類のタスクにも使用することができます。

本書では、教師あり学習の発展に貢献した様々な研究論文や研究を紹介しています。また、著者はこれらの手法に取り組んだ経験に基づき、この分野に対する独自の洞察を提供しています。

まとめると、『Cookbook of Self-Supervised Learning』は、自己教師あり学習の起源、さまざまな手法のファミリー、さまざまなドメインでの実用的なアプリケーションなど、自己教師あり学習の包括的な概要を提供するものである。このPDFは、よく理解できるように書かれており、この分野の初心者と専門家の両方が利用できるようになっています。

要点

１．自己教師付き学習の実用化にはどのようなものがありますか？

A. 教師あり学習は、ビジョンシステム、オーディオ、テキスト、表形式データなど、様々な領域で実用化されている。例えば、教師あり学習は、言語モデリングや機械翻訳などの自然言語処理タスクのための大規模モデルの事前学習に利用できる。また、音声認識や画像分類のタスクにも利用することができる。参考資料 37ページ

２．自己教師あり学習は、教師あり学習や教師なし学習とどう違うのですか？

A. 教師あり学習はラベル付きデータを必要とし、教師なし学習はラベルを使用しないのに対し、自己教師あり学習はラベルなしデータを使用して入力データの表現を学習する点で教師あり学習や教師なし学習と異なります。自己教師あり学習では、画像の欠落部分の予測や文中の次の単語の予測など、入力データの特定の性質を予測するようにモデルが学習される。これらの予測は、モデルに対する監視の役割を果たし、下流のタスクに転送できる有用な表現を学習することができます。参考資料 3ページ

３．コントラスト学習の概念と、自己教師あり学習におけるその役割について教えてください。

A. そうですね。コントラスト学習は、自己教師付き学習でよく使われるアプローチで、データポイントの類似と非類似のペアを区別するためにモデルを学習させます。その目的は、類似のデータ点を埋め込み空間内で近づけ、非類似のデータ点を遠ざけるような表現を学習することです。これは、正のペア（類似のデータ点）間の距離を最小化し、負のペア（非類似のデータ点）間の距離を最大化するようにモデルを促す対照的損失関数を使用することで実現される。コントラスト学習は、コンピュータビジョンや自然言語処理など様々な領域で有効であることが示されており、いくつかのベンチマークで最先端の結果を出しています。参考資料 42～43ページ

重要単語

SSLメソッド
プレテキスト・タスク
ハイパーパラメータ
自己教師付き学習
教師付き学習
教師なし学習
学習率
バッチサイズ
隠れ層

ChatGPTに聞いてみた

SSLメソッド
• SSL（SECURE SOCKETS LAYER）は、インターネット上で情報を安全にやり取りするためのプロトコルの1つ。
• SSLメソッドは、データを送信する前に、送信先サーバーが信頼できるものであることを確認し、データを暗号化することで、盗聴や改ざんなどの攻撃から保護する。
• SSLメソッドは、HTTPSというプロトコルで利用され、オンライン取引や個人情報の送信などのセキュアな通信に利用される。
プレテキスト・タスク
• プレテキスト・タスクとは、自然言語処理の技術の1つで、あるテキストを入力として与えられた場合に、その次に来る単語や文を予測するタスク。
• プレテキスト・タスクは、言語モデルの学習に利用される。例えば、GPT（GENERATIVE PRE-TRAINED TRANSFORMER）モデルは、プレテキスト・タスクを用いて学習された言語モデルである。
ハイパーパラメータ
• 機械学習のモデルのパラメータのうち、ユーザーが手動で設定する必要があるものを、ハイパーパラメータと呼ぶ。
• ハイパーパラメータには、学習率やバッチサイズ、隠れ層の数などがある。
• ハイパーパラメータは、機械学習のモデルの性能に大きな影響を与えるため、適切な値を設定することが重要である。
自己教師付き学習
• 自己教師付き学習は、教師データを用意せずに、モデルを学習させる方法の1つ。
• 自己教師付き学習では、入力データから出力データを生成し、それを正解として利用する。
• 自己教師付き学習は、データセットの用意が難しい場合や、教師データを用いた場合と比較して高い性能を発揮することがある。
教師付き学習
• 教師付き学習は、入力データとその正解データを利用して、モデルを学習させる方法の1つ。
• 教師付き学習では、入力データと正解データのペアを複数用意し、それを学習データとしてモデルを訓練する。
• 教師付き学習は、分類や回帰などの様々なタスクに利用される。
教師なし学習
• 教師なし学習は、正解データを用意せずに、データのパターンや構造を学習する方法の1つ。
• 教師なし学習では、データの相関関係を抽出したり、クラスタリングしたりすることができる。
学習率
• 学習率は、ニューラルネットワークの学習において、パラメータの更新量を調整するハイパーパラメータの1つ。
• 学習率が大きすぎると、収束せずに発散してしまい、小さすぎると収束に時間がかかる。
• 適切な学習率を選ぶことは、モデルの性能に大きく影響する。
バッチサイズ
• バッチサイズは、ニューラルネットワークの学習において、一度に処理するデータの数を指す。
• バッチサイズが大きい場合、メモリの使用量が増えるが、学習が安定しやすくなる。
• 一方、バッチサイズが小さい場合、学習が不安定になりやすいが、メモリの使用量が少なくなる。
• 適切なバッチサイズを選ぶことは、モデルの性能や学習時間に大きく影響する。
隠れ層
• 隠れ層は、ニューラルネットワークの構成要素の1つで、入力層と出力層の間に存在する。
• 隠れ層のノード数や層数を調整することで、モデルの表現力を変えることができる。
• ディープラーニングでは、多数の隠れ層を持つ深層ニューラルネットワークを構築することが一般的であり、これにより高度な表現力を持つモデルを実現することができる。

わかったこと

・機械学習には、三つの種類があり、それぞれに適した目的や用途がある。
・AIの用途はかなり幅広く、意識することなく様々なAIのシステムを使っていそう

まとめ

実際にAIを作るとなると、最初のデータセットを作るところが一番難しそう。
これからさらにAIを使ったサービスが多くなると考えると、本当に人の仕事がなくなりそう。