ディープラーニングを学ぶ前にロジスティック回帰を学んでおきたい理由

1.はじめに

新卒エンジニアとして入社し、もうすぐ4ヶ月を迎えます。今回が初の投稿となります。

「AIの内部構造はどうなっているのだろうか」と疑問を持ち、参考書を買って開いたものの難しさを感じる方も多いのではないでしょうか。

基礎となる構造から順を追って学ぶことで、格段に理解しやすくなるはずです。本記事ではAI初学者が最初にロジスティック回帰を学ぶメリットを紹介します。

2.AIや機械学習の定義

前提として、本記事における各言葉の定義を以下に整理します。

• AI：人間のような知的なふるまいを模倣している技術全般を指しています。

• 機械学習：知能の中核の一つ。大量のデータ（ビッグデータ）をコンピュータに読み込ませ、データに潜むパターン・ルールを学習し予測を行います。

• ディープラーニング：機械学習から派生し、より高度にコンピュータ自身が自動的に学習、予測をする技術です。2010年代以降の高度なAI技術ではディープラーニングが根幹を担っているといえるでしょう。

これらの技術の根幹には、次に来るデータを予測・計算するしくみがあります。

3.ロジスティック回帰とは

ロジスティック回帰とはいくつかの要因（説明変数）から2値の結果（目的変数）が起こる確率を予測し説明するアルゴリズムです。

4.なぜロジスティック回帰なのか

4-1.ニューラルネットワークの最小単位である

ディープラーニングで使われるニューラルネットワークは人工ニューロンがつながってできています。個々のニューロンが行っている計算はロジスティック回帰と同様です。

入力の線形結合：

z=w_1x_1+w_2x_2+…+b

• x：入力データ（特徴量）
• w：重み（入力→結果でどれくらい影響するか決める係数）
• b：バイアス（基準値）

非線形変換：

y=σ(z)

• シグモイド関数などに通して確率（0から1の範囲）を出力する

つまり、ロジスティック回帰のしくみを理解していれば、何層にも重なっているディープラーニングの構造理解にも応用が可能です。

4-2.損失関数の基礎

ディープラーニングでは分類タスク（大規模言語モデルや画像認識などが含まれる）を行う際にモデルごとの予測がどれくらい間違っているかを測るため、交差エントロピー誤差という関数を使用します。

交差エントロピー誤差はロジスティック回帰の最適化で行われる損失関数と同じです。

単一のニューロンと数学的に同義であるロジスティック回帰の概念を学んでおけば複雑なディープラーニングの学習メカニズムの理解に役立ちます。

4-3.ブラックボックスからの脱却

現在では便利なライブラリにより、初学者でも手軽にAIの挙動を確認できるようになりました。ロジスティック回帰を理解していると、モデルの挙動を推測し、ブラックボックスとなっている要因を考察するための第一歩となります。

5.ディープラーニングへ

ここまでロジスティック回帰を学んでおきたい理由を述べてきましたが、弱点としてロジスティック回帰は線形分離しかできないという点があげられます。現実世界のデータは、線で表せるほど単純ではないケースが多く存在します。ロジスティック回帰の考え方を応用し、多層のニューラルネットワークを構成したものが、ディープラーニングの基礎につながっています。

6.まとめ

今回はAI初学者がディープラーニングを学ぶ前にロジスティック回帰を学んでおきたい理由を解説しました。ディープラーニング学習のお役に立てれば幸いです。