AWS Deep Cuts の GitHub はこちらです。
https://github.com/AWS-Deep-Cuts/AWS-Deep-Cuts
AWS Deep Cutsとは？
AWS Deep Cutsは、AWS の最新のサービスやニッチな機能、または高度にアカデミックな知識を要求するサービスなど、多くの人が知らない 『隠れた名曲 = Deep Cuts』 を深くまで掘り下げる技術シリーズです。
このようなサービスはWeb情報も少なく、初学者は気軽にキャッチアップできないのが実情です。
そこで AWS Deep Cuts シリーズでは、前提知識も含めた分かりやすいサービス解説 と 手順通りに進めれば誰でも再現できるハンズオン を提供します！
そもそもEntity Resolutionとは？
Entity Resolution (ER、エンティティ解決、名寄せ) とは、異なるデータソースに散在する複数のレコードの中から、同一の実体（人物、企業、住所、商品など）を特定し、一つのデータとして統合するプロセスです。
『名寄せ』という処理に馴染みのない人もいるかもしれません。例えば、スマホの連絡先アプリに、同じ友達が何件も重複して登録されてしまった状況を考えてみましょう。
LINEから自動登録された「スズキ マイ（電話番号のみ）」と、自分で手入力した「鈴木 麻衣（メールアドレスのみ）」が別々の連絡先として登録されているとき、これらを同じ友達だと見抜いてマージするのが名寄せ = Entity Resolutionです。
上記の例では、単純なデータ(氏名)の一致/不一致だけで同一人物かどうかを見抜くことは出来ません。名寄せにはこのように、（ルールベースの）機械的な処理だけでは難しいケースも多いです。そこで近年では機械学習を利用し、人間が頭の中で「おそらく同一人物だろう」と推測するような、より賢く高度な名寄せを実現しています。
AWS Entity Resolutionとは？
AWS Entity Resolutionは、こうしたエンティティ解決を完全マネージドで実行できるサービスです。これまで人手での名寄せ作業にかかっていた工数を削減しつつ、人間のように高度なEntity Resolutionを行うことが可能です。
AWS Entity Resolutionには、以下のような特徴があります。
-
複数の照合ワークフロー
ルールベース、機械学習（ML）ベース、さらにLiveRampやUID2などデータサービスプロバイダー経由の照合ワークフローを選択してレコードを処理できます。 -
高度な照合手法のサポート
ファジーマッチングやMLを含む多様な照合手法で、スペルミスや表記ゆれが含まれていても名前や連絡先などの類似レコードを結び付けられます。 -
ニアリアルタイム照合
Generate Match ID API を使うことで、ルールベースの近リアルタイム照合を有効化し、対応する Match ID を生成できます。 -
セキュリティと地域性
データはデフォルトでAWS管理のキーで暗号化され、必要に応じてKMSキーを指定できます。VPC内からPrivateLinkで安全に呼び出すことも可能です。 -
料金モデル
ルールベース／MLベースの照合は $0.25／1,000 レコード、データサービスプロバイダー照合は $0.10／1,000 レコード（プロバイダー利用時は別途サブスクリプション費用が発生）という課金体系です。
AWS Entity Resolutionの主な活用事例
AWS Entity Resolution はさまざまな業界や場面で利用されています。
-
Customer 360 / マーケティング
CRMや購買履歴、Web行動など複数のチャネルで顧客情報を統合し、統一した顧客ビューを構築します。
Customer 360とは
企業が保有する顧客のあらゆるデータ（属性、購入履歴、問い合わせ状況、Web上の行動など）を統合し、1人の顧客の全体像を多角的（=360度）に把握する概念や仕組みのこと
-
金融
金融機関では、複数口座にまたがる取引を結び付けることで、不審な取引パターンを検出します。 -
ヘルスケア
病院や診療所に分散している患者情報を統合し、治療の一貫性を確保します。 -
小売 / EC
購買履歴や閲覧行動をまとめ、レコメンドやターゲティング精度を高めます。 -
データクレンジング
機械学習のモデル作成やBI分析の際に、前処理として重複データを除去します。
AWS Entity Resolutionを使う際のベストプラクティス
-
前処理の徹底
データを揃え、欠損値を補完することでマッチ精度が向上します。 -
コスト管理
課金は処理レコード数に比例するため、不要なレコードを含めないようにフィルタリングしましょう。 -
プライバシー保護
個人情報は可能な限りハッシュ化・暗号化し、アクセス制御やKMSキーの運用を徹底します。
ハンズオンはこちら！
まとめ
AWS Entity Resolutionは、データの重複や表記ゆれに悩む企業にとって非常に強力なソリューションです。プリセット済みのアルゴリズムや柔軟なルール設定を活用し、データ統合の手間を大幅に削減しましょう！
参考文献