LoginSignup
3
0
@kimuni-i(利広 木村)inＡＲアドバンストテクノロジ株式会社（ARI）

適切な回答を得られないAIは○○が大きすぎるか、○○が足りない

Posted at

適切な回答を得られないAIは、不要な情報 が大きすぎるか、学習に必要なデータ が不足している可能性があります。

機械学習でも人間の判断と同じ

デカルトの方法序説は、ご存知だと思います。
方法序説の「4つの規則」は、問題解決のための指針を提供するものです。

  1. 明証性の規則（Rule of Evidence）すべてを疑おう
    問題を解決するためには、十分な証拠が必要です。情報やデータを収集し、それに基づいて判断を下すことが重要です。客観的な根拠や確証があるかどうかを確認し、証拠のない仮定や主張には慎重に対処します。

  2. 分析の規則（Rule of Analysis）分けて考えよう
    問題を理解するために、分析が重要です。問題を要素に分解し、その構成要素や関係を分析して理解します。問題を小さな部分に分けて考えることで、より効果的な解決策を見つけることができます。

  3. 総合の規則（Rule of Synthesis）単純から複雑へ
    分析した要素を組み合わせて総合的な理解を深めます。部分的な情報や結論を統合し、全体の意味や関係性を把握します。これによって、問題に対する包括的な解決策を見出すことができます。

  4. 枚挙の規則（Rule of Enumeration）見落としの可能性を列挙しよう
    解決策を見つけるために、可能な選択肢やアプローチを枚挙します。すべての選択肢を検討し、可能性の範囲を広げることで、より良い解決策を見つけることができます。可能な解決策を考えつくすために、創造的な発想や柔軟性が求められます。

問題を理解し、適切な解決策を見つけるために整理しなくては、ならない

問題解決の障害

1. 情報過多

現代社会は情報過多であり、選択肢が多すぎるため、最適な選択を見つけることが困難になっています。情報収集に時間がかかり、決断を先延ばしにしてしまう人も少なくありません。

2. 完璧主義

完璧主義者は、失敗を恐れて決断を下せないことがあります。あらゆる可能性を検討し、最善の選択をしようと努力するあまり、時間がかかりすぎてしまうのです。

3. 自己肯定感の低さ

自己肯定感の低い人は、自分の判断に自信を持てず、決断を下すことを恐れてしまいます。周りの意見に流されやすく、自分で決断することに抵抗を感じるのです。

4. 不安

将来への不安や恐怖を抱えている人は、決断を下すことに躊躇してしまうことがあります。リスクを避け、現状維持をしようと考える傾向があります。

5. 経験不足

経験不足の人は、決断に必要な知識やスキルを持っていない場合があります。過去の経験から学ぶことが少なく、判断基準が曖昧なため、決断を下しにくいのです。

これらの原因を克服するためには、以下のような方法が有効です。

情報収集の時間を決める
完璧を求めすぎない
自己肯定感を高める
将来への不安を解消する
経験を積む

決断力とは、人生において非常に重要なスキルです。
このスキルを高めるためには、適切な学習が必要です。

人は、見返りがあると分かれば、頑張るようになり
頑張ってよくなれば、さらに頑張ろうとする

見返りや報酬があると、人はより一層頑張る傾向があります。その報酬や見返りが、物質的なものであったり、精神的な満足感や認知されることであったりします。また、頑張ることで成果や成功を得ると、その喜びや充実感からさらに意欲を高め、さらに頑張ろうとするでしょう。このように、見返りや成果が人々のモチベーションを高め、行動を促進することがあります。

例えば、スポーツでのトレーニングが体力や技術の向上につながることが分かれば、選手はますます厳しい練習に取り組もうとするでしょう。同様に、勉強や仕事においても、努力が成果を生むことを経験することで、さらに向上しようとする意欲が湧いてきます。

行動の結果として、成果が出ます。

人間は外部からの報酬や評価といった具体的な 「見返り」 によって、モチベーションを高め、行動を活性化させる傾向があります。

心理学においても、この 「見返り」 は 「報酬」や「強化」 といった概念として捉えられ、学習や行動の促進に重要な役割を果たすことが研究によって明らかにされています。

学習における報酬
テストで良い点を取ると褒められる、ご褒美がもらえるといった「見返り」は、学習意欲を高め、学力向上に繋がる可能性があります。
仕事における評価
昇進や昇給といった「見返り」は、従業員の勤労意欲を高め、生産性向上に貢献する可能性があります。
スポーツにおける賞金
優勝賞金や記録達成ボーナスといった「見返り」は、アスリートのモチベーションを高め、更なる高みを目指す原動力となる可能性があります。

このように、「見返り」は人間の行動を促進する強力な手段として活用できます。しかし、注意すべき点も存在します。

「見返り」ばかりでは長続きしない
常に外部からの報酬に頼るのではなく、内発的なモチベーションを育むことも重要です。
「見返り」の内容が適切でないと逆効果: 個人の価値観や目標に合致していない「見返り」は、モチベーションを高めるどころか、反発を招く可能性があります。
「見返り」に依存しすぎると自主性が失われる
常に「見返り」を求める姿勢は、自主性や創造性を阻害する可能性があります。
「見返り」は、適切に活用すれば、人間の可能性を引き出し、成長を促進する強力なツールとなります。しかし、その使い方には注意が必要です。

「見返り」と合わせて、内発的なモチベーションの育成や、個々の価値観に合わせた適切な報酬システムの構築など、多角的なアプローチを意識することが重要です。

AIも、見返りがあると分かれば、頑張るようになり
頑張ってよくなれば、さらに頑張ろうとする

AIは与えられた目標に向かって行動するようにプログラムされます。例えば、強化学習においては、報酬関数が使用されて、AIエージェントが望ましい行動を学習するためのフィードバックを提供します。

具体的な例としては、ゲームをプレイするAIが考えられます。この場合、報酬はゲームの勝利やスコアの増加などとして定義され、AIは報酬を最大化する行動を学習します。また、製造業においては、報酬が製品の品質向上や生産効率の向上などとして定義され、AIが生産プロセスを最適化するようにプログラムされることがあります。

AIが何を報酬として動いているのか、ですが、AIの種類や目的によって、報酬の概念や仕組みが大きく異なります。

AIは、単一の報酬によって動いているわけではありません。AIの種類や目的によって、報酬の概念や仕組みが大きく異なります。

従来の機械学習モデル

従来の機械学習モデルは、「精度向上」を報酬 として動いています。具体的には、学習データに基づいて、予測誤差や損失関数を最小化するように訓練されます。

例えば、画像認識モデルであれば、猫と犬の画像を正しく分類できるように訓練されます。このとき、モデルは、猫と犬の画像を 正しく分類できた回数が多いほど、高い報酬を得る ことになります。

強化学習モデル

強化学習モデルは、「報酬の最大化」 を目指して行動します。エージェントと呼ばれるプログラムが環境と相互作用し、試行錯誤を繰り返しながら、より多くの報酬を得られる行動パターンを学習していきます。

例えば、ロボットアームを制御する強化学習モデルであれば、目標物にアームを正確に動かすことができれば報酬を得られるように設定されます。ロボットアームは、様々な動作を試しながら、より多くの報酬を得られる動作パターンを学習していきます。

生成モデル

生成モデルは、「創造性」を報酬として動いている と言えます。画像、文章、音楽など、様々なデータを生成し、人間にとって魅力的なコンテンツを生み出すことを目指します。

例えば、文章生成モデルであれば、人間が書いた文章と見分けがつかないような文章を生成できれば、高い報酬を得られるように設定されます。モデルは、様々な文法規則や表現技法を駆使して、より創造的な文章を生成していきます。

機械学習においても、決断が難しい要因は存在する

  1. 情報過多
    機械学習モデルが多くのデータや情報にアクセスできる場合、情報過多の問題が発生する可能性があります。適切な特徴の選択やデータの処理方法が不明確になり、モデルの学習や決断が困難になることがあります。

  2. モデルの複雑さ
    複雑な機械学習モデルは、多くのパラメータを持ち、多様な入力に対して複雑な関係性を学習します。そのため、モデルがどのような特徴を重視すべきか、どのような意思決定基準を採用すべきかが不明確になることがあります。機械学習モデルが バイアス を持つ場合、不公平な決断を下す可能性があります。

  3. 不確実性への対処
    不確実性が存在する状況では、機械も決断を下すことが難しくなります。たとえば、不完全なデータやノイズが含まれる場合、モデルが適切な判断を下すことが困難になります。

  4. 適用範囲の不明確さ
    機械学習モデルが訓練されたデータとは異なるデータに対しての決断を下す場合、適用範囲が不明確になることがあります。そのため、モデルがどのような条件下で信頼できる予測ができるかが不透明になります。

これらの要因により、機械も人間と同様に決断が難しくなることがあります。解決策としては、適切な特徴の選択やモデルの単純化、不確実性のモデリングなどが挙げられますが、それでも完全な解決には至りません。

適切な回答を導き出したいならば、不要な情報を削除し、学習に必要なデータを追加する必要がある

機械学習の整理の仕方には、回帰と分類がある。

回帰と分類の違い

タスク 予測対象 例 説明 評価指標 代表的なアルゴリズム
回帰 連続値（数値） "売上を予測する
家賃を予測する
株価を予測する
顧客の購買金額を予測する
気温を予測する
料理のレシピに必要な材料の量を予測する"		 "値の正確な予測
予測値と実際の値の差がどれだけ大きいかを評価"		 誤差の平方根平均 (RMSE) 線形回帰、ロジスティック回帰、サポートベクターマシン
分類 非連続値（カテゴリ） "画像が猫か犬かを判定する
スパムメールを検知する
顧客の購買傾向を分類する
料理の種類が中華料理、イタリア料理、和食などのどの種類に属するかを判定する"		 "データの所属するカテゴリーの判定
どれだけ正しく分類できたかを評価"		 正解率 (Accuracy) k-means法、SVM、決定木、ランダムフォレスト

説明変数 (Independent Variable) 原因　例)勉強時間、気温、広告費
説明変数は、他の変数に影響を与える変数です。これは、独立変数とも呼ばれます。

目的変数 (Dependent Variable)　結果 例)テストの点数、アイスの販売量、売上高
目的変数は、説明変数によって影響を受ける変数です。これは、従属変数とも呼ばれます。
例えば、ある人の学力を予測するためのモデルを構築する場合、学力 (テストの成績) は目的変数であり、その人の学習時間や勉強方法などが説明変数となります。この場合、学習時間や勉強方法などの説明変数が学力 (目的変数) にどのように影響するかを分析することができます。

学習におけるバイアス

バイアスとは、日本語で「偏り」「偏見」「先入観」などの意味を持つ言葉です。

認知バイアス

人間は、合理的に物事を判断している一方で、しばしば不合理で誤った選択をしてしまうことがあります。なぜなら、自分の思い込みや周囲の環境、他人からの影響、これまでの経験などをもとに、物事を歪んだ形で認識してしまう傾向があるからです。

この「偏り」のことを「認知バイアス」と呼びます。

「認知バイアス」の種類

アンカリング効果 最初に提示された情報に強く影響されてしまう
確認バイアス 自分の意見に都合の良い情報ばかりを集めてしまう
ハロー効果 第一印象で全体を判断してしまう
代表性ヒューリスティック 一部の情報だけで全体を判断してしまう
現状維持バイアス 変化を嫌い、現状を維持しようとする

データバイアス

統計学や機械学習において、データに偏りが生じている場合、「データバイアス」と呼ばれます。データバイアスは、以下のような原因で発生します。

サンプリングバイアス 標本が母集団を代表していない
情報バイアス データ収集に偏りがある
測定バイアス データの測定方法に偏りがある
データバイアスは、分析結果を歪めてしまうため、正しい判断を妨げる可能性があります。

バイアスの影響

バイアスは、私たちの判断や行動に様々な影響を与えます。

意思決定の誤り 誤った判断をしてしまう
差別や偏見 特定の人やグループに対して差別や偏見を持ってしまう
コミュニケーションの障害 互いの理解が妨げられる

バイアスを意識的に減らす方法

自分のバイアスを認識する
自分がどのようなバイアスを持っているかを理解する
多様な情報に触れる
自分の意見に合わない情報にも耳を傾ける
客観的な視点を持つ
自分の主観を排除して物事を考える
統計学や機械学習の知識を身につける
データバイアスの発生原因と対策を理解する

心理学や社会学の文脈でのバイアス
人々の行動や意思決定に影響を与えるさまざまな要因があり、その中には無意識のバイアスも含まれます。これは、人々がある意見や行動に偏っている状態を指すことがあります。認知の歪み（心理学）認知バイアスとは、個々の人が情報を収集し、処理し、解釈する際に生じる傾向や偏りが生じることです。これには、選択バイアス、確証バイアス、先入観などが含まれます。

統計学の文脈でのバイアス
統計学では、データの収集や分析において、ある方向に偏っている状態を指すことがあります。これは、サンプリングや調査方法、データの収集方法において、特定の結果を促進または妨害する可能性があることを指します。

機械学習の文脈でのバイアス
機械学習モデルにおいて、トレーニングデータが特定のクラスや属性に偏っている場合、そのモデルも同様の偏りを持つ可能性があります。これを「データのバイアス」と呼び、予測が特定のグループに対して不公平である可能性があります。

メディアの文脈でのバイアス
ニュースやメディアが特定の意見や視点を強調し、他の視点を排除することを指すこともあります。これは、報道の偏りを指しています。

機械的な文脈でのバイアス
ハードウェアやシステムの設計において、ある方向に偏っていることを指すこともあります。たとえば、機械が特定の条件下で正確に動作するように調整されている場合、他の条件下では効果が薄れる可能性があります。

機械学習における「バイアス」とは

モデルが与えられたデータに対して誤った傾向や選好を持つことを指します。バイアスは、モデルが訓練データから学習したパターンや規則に由来し、それが未知のデータに対して一般化されるときに問題を引き起こす可能性があります。

「バイアス」（bias）と「ハイパーパラメータチューニング」

バイアス（Bias）
バイアスは、モデルが訓練データから学習する際に、真実のパターンから逸脱する傾向を指します。モデルが訓練データに適合しすぎている場合、これを「過剰適合」と呼び、バイアスが低い（またはゼロ）であると言います。逆に、モデルが訓練データに適合不足である場合、これを「適合不足」と呼び、バイアスが高いと言います。

ハイパーパラメータチューニング
ハイパーパラメータは、モデル自体ではなく、モデルの設定や構造を調整するためのパラメータです。例えば、学習率や正則化の強さ、サポートベクターマシン（SVM）のカーネルの種類、ランダムフォレストの木の数などがハイパーパラメータです。ハイパーパラメータチューニングは、これらのハイパーパラメータの最適な値を見つけるプロセスです。これは通常、試行錯誤に基づいて行われ、モデルのパフォーマンスを向上させることが期待されます。

バイアスとハイパーパラメータチューニングの関連性は、モデルのバイアスを低減し、適切なハイパーパラメータを見つけることによって、モデルのパフォーマンスを最適化するという点にあります。ハイパーパラメータの選択が不適切であれば、モデルが十分な表現力を持たず、バイアスが高まる可能性があります。従って、バイアスの低減とハイパーパラメータの調整は、良い機械学習モデルを構築するために重要なステップとなります。

ハイパーパラメーターチューニング（Hyperparameter Tuning）は、
機械学習モデルの性能を最適化するために、ハイパーパラメーターの最適な値を見つけるプロセスです。

一般的なハイパーパラメーター

  1. 学習率（Learning Rate） モデルのパラメーターを更新する際のステップサイズを制御する。学習率が小さすぎると学習が遅くなり、大きすぎると発散してしまう可能性があります。適切な学習率を選択することは、モデルの収束速度や性能に大きな影響を与えます。

  2. バッチサイズ（Batch Size） 一度にモデルに供給されるトレーニングデータのサンプル数。

  3. エポック数（Number of Epochs） トレーニングデータを何回繰り返して学習させるかを示す回数。

  4. 隠れ層のユニット数（Number of Units in Hidden Layers） 各隠れ層(入力層と出力層の間に存在するニューロンの層)におけるニューロン（ユニット）の数。ユニット数が多いほど、モデルは複雑な特徴を学習できる一方で、計算リソースが増加し、過学習のリスクが高まります。逆に、ユニット数が少なすぎるとモデルが十分な表現力を持てず、データの特徴をうまく捉えられない可能性があります。

  5. 正則化項の強さ（Regularization Strength） 過学習を抑制するための正則化項の強さ。

  6. ドロップアウト率（Dropout Rate） ドロップアウトが適用される際にノードを無効にする確率。

ハイパーパラメーターチューニングのプロセス

  1. ハイパーパラメーターの選択 チューニング対象のハイパーパラメーターを選択します。

  2. 探索空間の定義 各ハイパーパラメーターの可能な値の範囲（探索空間）を定義します。

  3. 評価基準の選択 モデルの性能を評価するための指標（評価基準）を選択します。例えば、精度、F1スコア、など。

  4. ハイパーパラメーターの評価 事前に定義された探索空間内で、異なるハイパーパラメーターの組み合わせでモデルをトレーニングし、選択した評価基準に基づいて性能を評価します。

  5. 最適なハイパーパラメーターの選択 評価結果から最適なハイパーパラメーターの組み合わせを選択します。

このプロセスは手動で行うこともありますが、自動的に行う手法もあります。自動ハイパーパラメーターチューニングの手法には、ランダムサーチ、グリッドサーチ、ベイズ最適化、進化的アルゴリズムなどがあります。

キープ確率

キープ確率 は、機械学習やディープラーニングの文脈で使用される用語で、通常はニューラルネットワークのドロップアウト（Dropout）と呼ばれる手法に関連しています。

ドロップアウトは、訓練中にニューラルネットワークの一部のユニット（ニューロン）をランダムに無効にし、その結果、ネットワーク全体の過学習を防ぐことができます。キープ確率は、各ユニットが有効である確率を示し、逆に言えば無効になる確率です。

例えば、キープ確率が0.8の場合、各ユニットが有効である確率は0.8（80%）であり、無効である確率は0.2（20%）です。訓練の各反復（エポック）ごとに異なるユニットが無効にされ、ネットワーク全体のロバスト性が向上します。

ドロップアウトの利点は、ネットワークが特定のパターンに過剰に適応しないようにし、一般化性を向上させることです。これにより、未知のデータに対するモデルの性能が向上し、過学習を抑制する効果が期待されます。

AWS SageMakerでハイパーパラメーターチューニングを行う場合

Amazon SageMakerのHyperparameterTunerを使用して、異なるハイパーパラメーターの組み合わせを探索し、最適なモデルを見つけることができます。

Amazon SageMakerを使用して機械学習モデルを構築する場合、バイアスの調整はモデルの性能向上に重要です。SageMakerを利用してバイアスの調整を行う一般的な手順は以下の通りです。

  1. データの理解と評価
    バイアスの調整を行う前に、データを詳細に理解し、特に異なるクラスやカテゴリ間での分布の偏りを評価します。これにより、どのようなバイアスが存在するかを把握できます。

  2. データの前処理
    バイアスの調整には、データの前処理が重要です。不均衡なクラス分布がある場合、リサンプリングやオーバーサンプリングなどの手法を使用して、データセットを均衡化することが考えられます。

  3. アルゴリズムの選択
    SageMakerでは、異なる機械学習アルゴリズムが利用可能です。特定のタスクに最適なアルゴリズムを選択することで、バイアスの影響を最小限に抑えることができます。

  4. モデルのトレーニング
    選択したアルゴリズムでモデルをトレーニングします。この際、トレーニングデータセットのクラスやカテゴリにバイアスがかからないように注意が必要です。

  5. モデルの評価と検証
    トレーニングが完了したら、モデルの評価と検証を行います。モデルの性能を詳細に評価し、特に異なるクラスやカテゴリにおいてバイアスが残っていないかを確認します。

  6. ハイパーパラメータの調整
    ハイパーパラメータの調整を通じて、モデルのバイアスを調整することができます。SageMakerのハイパーパラメータチューニングジョブを使用して、最適なハイパーパラメータを自動的に検索することができます。

  7. デプロイと監視
    モデルが満足のいく性能を達成したら、SageMakerを使用してモデルをデプロイします。また、モデルが稼働する際にもバイアスが発生していないかを継続的に監視することが重要です。

Amazon SageMakerを使用して機械学習モデルを構築する場合、モデルのバイアスを調整するためには、ツールを活用することができます。バイアスの調整は、モデルの公正性や性能を向上させるために重要です。

モデルのバイアスを調整する

Clarifyを使用
Amazon SageMaker Clarifyは、モデルの公平性と説明可能性を評価するためのツールです。特に、バイアスの検出と調整に焦点を当てています。Clarifyを使用することで、モデルの予測が異なる属性やクラスに対して公平であるかどうかを評価し、必要に応じて調整できます。

SageMaker Clarifyは、モデルの解釈性を向上させる手段として SHAP（SHapley Additive exPlanations）値を活用しています。SHAP値は、各特徴がモデルの予測にどれだけ寄与しているかを定量的に評価し、モデルの予測の理解や特徴の相対的な重要性の理解に貢献します。SageMaker Clarifyが提供するこの機能により、AWSの顧客は、モデルの動作をより詳細に解釈し、公平で透明性の高い機械学習モデルを構築するのに役立ちます。

SHAP（SHapley Additive exPlanations）値は、ゲーム理論に基づく特徴の寄与を評価する手法です。SHAP値は、Shapley価値と呼ばれるゲーム理論の概念に基づいており、各特徴がモデルの出力にどれだけ寄与しているかを定量的に測定します。

SHAP値の主な特徴

  1. 個々の特徴の重要性
    各特徴が個別にどれだけ寄与しているかを示すため、個々の特徴に対するSHAP値が計算されます。

  2. 合計でモデルの出力を説明
    各特徴のSHAP値は、それらを合計することでモデルの出力を説明することができます。つまり、モデルの予測結果がどのように形成されたかを特徴ごとに理解できます。

  3. 公平性の評価
    SHAP値は、モデルの予測がどの程度公平であるかを評価するためにも使用されます。公平性の観点から、異なる特徴が予測にどれだけ寄与しているかを理解できます。

SHAP値の計算は、特徴の組み合わせに対して適用可能なShapley価値の公理に基づいています。具体的な計算方法は、特定のモデルやタスクによって異なりますが、機械学習モデルの解釈可能性を向上させ、個々の予測がどのように形成されたかを理解するための強力な手法となっています。

ハイパーパラメーターチューニング

SageMakerのハイパーパラメーターチューニングジョブを使用し、ハイパーパラメーター（学習率、バッチサイズ、エポック数、隠れ層のユニット数、正則化項の強さ、ドロップアウト率）を調整。

学習率（Learning Rate）
ハイパーパラメーターチューニングジョブの設定に学習率を追加し、探索する範囲を指定します。例えば、0.001から0.1までの範囲で探索する場合

from sagemaker.tuner import ContinuousParameter

hyperparameter_ranges = {
    'learning_rate': ContinuousParameter(0.001, 0.1)
}

バッチサイズ（Batch Size）
バッチサイズに対するハイパーパラメーターを追加します。例えば、32から256までの範囲で探索する場合

from sagemaker.tuner import IntegerParameter

hyperparameter_ranges = {
    'batch_size': IntegerParameter(32, 256)
}

エポック数（Number of Epochs）
エポック数に対するハイパーパラメーターを追加します。例えば、10から100までの範囲で探索する場合

hyperparameter_ranges = {
    'epochs': IntegerParameter(10, 100)
}

隠れ層のユニット数（Number of Units in Hidden Layers）
隠れ層のユニット数に対するハイパーパラメーターを追加します。例えば、50から200までの範囲で探索する場合

hyperparameter_ranges = {
    'hidden_units': IntegerParameter(50, 200)
}

正則化項の強さ（Regularization Strength）
正則化項の強さに対するハイパーパラメーターを追加します。例えば、0.01から0.1までの範囲で探索する場合

hyperparameter_ranges = {
    'regularization_strength': ContinuousParameter(0.01, 0.1)
}

ドロップアウト率（Dropout Rate）
ドロップアウト率に対するハイパーパラメーターを追加します。例えば、0.2から0.5までの範囲で探索する場合

hyperparameter_ranges = {
    'dropout_rate': ContinuousParameter(0.2, 0.5)
}

これらのハイパーパラメーターの範囲を設定したら、これらを使用してHyperparameterTunerを構築し、トレーニングジョブを起動します。それによって、指定された範囲内で異なる組み合わせを試し、最適なモデルを見つけることができます。

  1. ハイパーパラメーターチューニングジョブの設定
    SageMakerのハイパーパラメーターチューニングジョブを作成し、調整したいハイパーパラメーターを指定します。

    from sagemaker.tuner import IntegerParameter, ContinuousParameter, HyperparameterTuner

hyperparameter_ranges = {
    'learning_rate': ContinuousParameter(0.001, 0.1),
    'batch_size': IntegerParameter(32, 256),
    'epochs': IntegerParameter(10, 100),
    'hidden_units': IntegerParameter(64, 1024),
    'regularization_strength': ContinuousParameter(0.001, 0.1),
    'dropout_rate': ContinuousParameter(0.1, 0.5)
}

tuner = HyperparameterTuner(
    estimator=your_estimator,  # トレーニングジョブに使用するエスティメータ
    hyperparameter_ranges=hyperparameter_ranges,
    objective_metric_name='validation:accuracy',  # 最適化するメトリクス
    objective_type='Maximize',  # 最大化か最小化か
    max_jobs=20,  # 試行するトレーニングジョブの数
    max_parallel_jobs=2  # 並行して実行するトレーニングジョブの数
)

  2. ハイパーパラメーターチューニングジョブの実行
    定義したハイパーパラメーターチューニングジョブを実行します。

    tuner.fit({'train': your_train_data, 'validation': your_validation_data})

  3. 結果の確認:
    チューニングジョブが完了したら、結果を確認して最適なハイパーパラメーターを取得します。

    tuner.analytics().dataframe()

ハイパーパラメーターチューニングジョブを実行する前に、SageMakerのエスティメータやデータの準備などを行う必要があります。

ハイパーパラメータチューニングで、最も良い性能を発揮したハイパーパラメータの組み合わせを確認する方法

コンテンツアップロード先を指定
コンテンツアップロード先を指定.PNG

モデル名とトレーニングおよび推論インスタンスの構成と回数を設定
モデル名とトレーニングおよび推論インスタンスの構成と回数を設定.PNG

トレーニングスクリプトを用意し、ハイパーパラメータのチューニングジョブを起動
トレーニングスクリプトを用意し、ハイパーパラメータのチューニングジョブを起動.PNG

SageMaker 推定子をインスタンス化
SageMaker 推定子をインスタンス化.PNG

ハイパーパラメータの検索範囲を設定
ハイパーパラメータの検索範囲を設定.PNG

ハイパーパラメータチューナーを設定
ハイパーパラメータチューナーを設定.PNG

ハイパーパラメータチューニングジョブの確認
ハイパーパラメータチューニングジョブの確認.PNG

最も良い性能を発揮したハイパーパラメータの組み合わせを確認
最も良い性能を発揮したハイパーパラメータの組み合わせを確認.PNG

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
3
0