やりたいこと

RDSMSのLIKE検索よりも柔軟に、検索エンジンの要領で商品検索を行うことを目標にします。

環境

Amazon CloudSearch APIバージョン 2013-01-01

利用するデータ

Wikpediaの任天堂発売のゲームタイトル一覧ページのリンク先をスクレイピングしてjson形式のデータを作成します。

[
    {
        "type": "add",
        "id": 1,
        "fields": {
            "page_title": "マリオブラザーズ",
            "content": "『マリオブラザーズ』は、1983年に発売された任天堂のアクションゲーム。マリオシリーズで初めてマリオの名がタイトルに冠され、マリオという名として主人公が活躍するゲームとしては、マリオシリーズ第1作目にあたる。",
            "genre": "固定画面アクションゲーム",
            "plat": "アーケード",
            "dev": "任天堂",
            "pub": "任天堂レジャーシステム",
            "producer": "横井軍平",
            "designer": "宮本茂",
            "programmer": "宮本茂",
            "composer": "兼岡行男",
            "players": "1 - 2人",
            "media": "業務用基板",
            "working_dates": "1983年7月14日1983年",
            "rating": "CERO：A（全年齢対象）",
            "device": "2方向レバー 1ボタン",
            "cpu": "メイン：Z80 (@ 3.072 MHz) サウンド：I8039 (@ 730 kHz)",
            "sound": "DAC",
            "display": "ラスタースキャン 横モニター 256 x 224ピクセル パレット256色",
            "etc": "移植されたプラットホームについては本記事#他機種版の項を参照のこと。",
            "link_title": "マリオブラザーズ"
        }
    },
～以下省略～

JSONファイルのフィールドはAmazon CloudSearch 用にデータを準備に沿って作成します。

type: 実行するオペレーション: add または delete。
id: ドキュメントの一意の ID。ドキュメント ID では、任意の英字または数字と次の文字を使用できます。_ - = # ; : / ? @ & ドキュメント ID は、1～128 文字以内にする必要があります。
fields: 各ドキュメントフィールドの名前と値のペア。latlon フィールドの値を指定するには、カンマ区切りリストとして緯度と経度を指定します。たとえば、"location_field": "35.628611,-120.694152" のようになります。ドキュメントを JSON で指定する場合、フィールドの値を null にすることはできません（ただしフィールドを完全に省略することはできます）。

フィルド名	内容
link_title	任天堂発売のゲームタイトル一覧のリンクのテキスト
page_title	リンク先のページのタイトル
content	最初の、目次の前の1段落の文章
genre	テンプレートに記載されているジャンル
plat	テンプレートに記載されている対応機種
dev	テンプレートに記載されている開発元
pub	テンプレートに記載されている発売元
distributor	テンプレートに記載されている販売元
producer	テンプレートに記載されているプロデューサー
director	テンプレートに記載されているディレクター
designer	テンプレートに記載されているデザイナー
writer	テンプレートに記載されているシナリオ
programmer	テンプレートに記載されているプログラマー
composer	テンプレートに記載されている音楽
artist	テンプレートに記載されている術
license	テンプレートに記載されているライセンス
series	テンプレートに記載されているシリーズ
ver	テンプレートに記載されているバージョン
players	テンプレートに記載されている人数
media	テンプレートに記載されているメディア
publish_date	テンプレートに記載されている発売日
last_release_version	テンプレートに記載されている最新版
last_preview_version	テンプレートに記載されている最新評価版
rating	テンプレートに記載されている対象年齢
contents_icon	テンプレートに記載されているコンテンツアイコン
download_content	テンプレートに記載されているダウンロードコンテンツ
device	テンプレートに記載されているデバイス
spec	テンプレートに記載されている必要環境
engine	テンプレートに記載されているエンジン
aspect_ratio	テンプレートに記載されているアスペクト比
resolution	テンプレートに記載されている解像度
cabinet	テンプレートに記載されている筐体
cpu	テンプレートに記載されているCPU
sound	テンプレートに記載されているサウンド
display	テンプレートに記載されているディスプレイ
sales	テンプレートに記載されている売上本数
etc	テンプレートに記載されているその他

検索ドメイン作成

検索する商品を投入するために 検索ドメイン を作成します。検索ドメインはRDSMSと対比させるとテーブルに近い概念ですが、一つのドメインには一つの定義を作成し、検索ドメインで検索対象のデータを定義します。CloudSearchはApache Solrのマネージドサービスなので、検索ドメインを Solrの言葉で表すと「スキーマ」になります。

Solrの「スキーマ」に由来するのでRDBMSでのJOINに相当することがでません。非正規化したデータを使います。

ウィザードを起動して検索ドメインの情報を入力

ウィザード起動

CloudSearchの管理コンソールから「Create a new search domain」ボタンをクリックして、ウィザードを起動します。

NAME YOUR DOMAIN

Search Doamin Nameに検索ドメイン名を入力します。今回は「cs-games」にしました。アップロード容量と検索性能の Desired Instance Typeと耐障害性のDesired Replication Countはデフォルト値のままにします。

CONFIGURE INDEX

ウィザードに投入するデータをアップロードすることでフィールド設定のひな型が提供されるので、スクレイピングで作成したjson形式のファイルをアップロードします。

REVIEW INDEX CONFIGURATION

アップロードされJSONを元にフィールド名の定義が自動作成されます。概ね、このまま利用しますが、二つだけ変更を行います。

すべてのフィールドのAnalysis SchemeをJapaneseに変更します。
distributor、genre、plat、pubのTypeをliteralに変更し、Facetをonにしておきます。ファセットは検索結果の絞り込みとフィルタ処理を行うために使用するカテゴリとして利用できます。

SETUP ACCESS POLICIES

検索ドメインのアクセスポリシーを設定します。今回は**Search and Suggester service: Allow all. Document Service: Account Owner only.**を選択します。

CONFIRM

ここまでの設定内容を確認します。修正内容があれば、左下のBackを押下して戻ります。この内容でよければ、右下のConfirmを押下します。

ウィザード終了

Wizardで一通りの手続きが完了すると、インスタンスに検索ドメインが作成されます。作成には10分程かかるのでしばらく待ちます。

ダッシュボードで完了を待つ

管理コンソールから作成した検索ドメインのステータスがACTIVEになるのを待ちます。

データ投入

DOCUMENT SOURCE

ダッシュボードのUpload Documentsを押下します。表示されるダイアログのFile(s) on my local diskを選択し、投入するデータのjsonファイルを指定します。その後にContinueを押下します。

REVIEW DOCUMENTS

アップロードしたjsonファイルが読み込まれ、チェックが行われます。解析して得られた件数とフィールドが表示されます。もし、解析した結果にエラーがあれば、赤文字で表示されます。エラーがなければUpload Documentsを押下します。

DOCUMENT SUMMARY

アップロードが無事に終わると、サマリーとして追加と削除の件数が表示されます。
最後にFinishを押下して、ダイアログを閉じます。

簡単な検索

ダッシュボードのSearchable DocumentsはアップロードしたJSONファイルの内容ににエラーが無ければ、JSONファイルに登録してあった件数と同じになっています。それを確認し、新しく表示されているRun a test searchに検索ワードとして「マリオ」を入力し、Goを押下すると検索が行われます。

↓

ファセットに指定したganre、plat、pubで絞込を行えるように、検索結果の右側にフィールド毎に候補が表示されています。

つつき(予定)

テキスト分析スキームのシノニムを試してみます。

シノニムを利用することで「FC」と「ファミコン」と「ファミリーコンピューター」を同じものを指す単語としてあつかえる予定です。