スキル1.3.1
包括的なデータ検証ワークフローを作成して、データが FM 消費の品質基準を満たしていることを確認する (AWS Glue Data Quality、SageMaker Data Wrangler、カスタム Lambda 関数、Amazon CloudWatchメトリクスの使用など)。
- AWS Glue Data Quality
- AWS Glue Studio で ETL ジョブのデータ品質を評価する
- AWS Glue Data Quality での異常検出
- Amazon SageMaker Data Wrangler で ML データを準備する
-
データとデータ品質に関するインサイトを取得する
AWS Glue Data Quality のエントリポイントは 2 つあります。AWS Glue Data Catalog と AWS Glue ETL ジョブです。AWS Glue Data Quality は、AWS Glue Data Catalog に保存されているオブジェクトを評価します。AWS Glue ETL ジョブ向けの AWS Glue Data Quality を使用すると、プロアクティブなデータ品質タスクを実行できます。プロアクティブなタスクは、データセットをデータレイクにロードする前に不良データを特定し、除外するのに役立ちます。
ETL ジョブのデータ品質は、次のインターフェイスで管理できます。
- AWS Glue Studio、AWS Glue Studio、ノートブック、AWS Glue インタラクティブセッション
- ETL スクリプト用の AWS Glue ライブラリ
- AWS Glue API
ETLジョブ向けの方が基本的に高機能である。
Data Qualityルールの推奨事項のみData Catalog向けだけで利用可能。
- Data Qualityルールは、ネストされたデータソースやリストタイプのデータソースを評価することはできません。
- ルールセットには 2,000 個のルールを含めることができます。ルールセットが大きい場合は、複数のルールセットに分割することをお勧めします。
- ルールセットのサイズは 65 KB です。ルールセットが大きい場合は、複数のルールセットに分割することをお勧めします。
- AWS Glue Data Quality は、ルールまたはアナライザーを作成するときに統計を収集します。これらの統計の保存にはコストはかかりません。ただし、アカウントごとに保存できる統計は 100,000 に制限されており、これらの統計は最大 2 年間保持されます。
スキル1.3.4
入力データの品質を高めて、FM の応答の品質と一貫性を向上させる (Amazon Bedrockを使用したテキストの再フォーマット、Amazon Comprehendを使用したエンティティの抽出、Lambda 関数を使用したデータの正規化など )。