0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【AWS AIP】Amazon Comprehend

0
Posted at

一言で

テキストの感情分析・エンティティ抽出・PII検出などを行う、自然言語処理(NLP)特化のマネージドサービス。

なぜ要るか / 背景

生成AI(LLM)は柔軟だが、感情分類やPII検出のような定型的なNLPタスクには専用の軽量・低コストなサービスの方が適している場面がある。また、Bedrockで生成AIを使う際も、入出力に含まれる個人情報を検出・マスキングするなど、LLMの前後工程でNLP処理が必要になる。Comprehendはこの役割を担う。

主要概念

  • 感情分析(Sentiment Analysis):テキストがポジティブ/ネガティブ/ニュートラル/混在のどれかを判定
  • エンティティ抽出(Entity Recognition):人名・組織名・日付・場所などをテキストから抽出
  • キーフレーズ抽出(Key Phrase Extraction):文章の要点となる語句を抽出
  • 言語検出(Language Detection):入力テキストの言語を自動判定
  • PII検出(PII Detection):氏名・住所・クレジットカード番号などの個人識別情報を検出・マスキング
  • カスタム分類・カスタムエンティティ:独自ラベルでテキスト分類やエンティティ抽出モデルを学習できる機能
  • Comprehend Medical:医療テキスト特化版(診断名・薬剤名などの抽出)

基本の流れ

  1. 分析したいテキストをComprehendのAPI(DetectSentiment、DetectEntities、DetectPiiEntitiesなど)に渡す
  2. Comprehendが学習済みモデルでテキストを解析し、結果(ラベル・スコア・オフセット位置など)を返す
  3. 必要に応じてカスタム分類器・カスタムエンティティ認識器を独自データで学習して精度を高める
  4. Bedrockなど生成AIパイプラインの前処理(PIIマスキング)や後処理(出力の感情チェックなど)として組み込む

関連

  • Amazon Bedrock Guardrails:生成AIの出力側でPIIフィルタリングなどを行う機能。Comprehendとは別レイヤーだが用途が重なる部分がある
  • Amazon Macie:S3上のデータに対するPII・機密情報検出サービス。ComprehendはテキストAPI単位、Macieはデータストア単位で検出する点が異なる
  • Amazon Textract:文書からのテキスト抽出(OCR寄り)。Comprehendは抽出されたテキストの「意味解析」を担う点で役割が異なる
  • Amazon Rekognition:画像・動画の認識。Comprehendはテキスト(NLP)専用である点で対比される

試験ポイント(AIP-C01)

  • 「感情分析・PII検出などの伝統的なNLPタスク=Comprehend」というユースケース対応を問われやすい(Rekognition=画像、Textract=文書抽出との混同に注意)
  • FM(生成AI)とのやり取りにおけるPII検出・データガバナンス文脈で、ComprehendとMacie・Bedrock Guardrailsが並んで登場するパターンを押さえる
  • Comprehendは生成AIモデルではなく、専用の学習済みNLPモデル(+カスタム学習)を提供するサービスである点を区別する
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?