SUUMOにて割安賃料物件を見つけよう_データ基盤構築編

概要

SUUMOにて割安な賃料物件を探しました。

調査の流れ

調査は以下の3つに分割しました。

1. データ基盤構築編(今回の記事)
2. モデル作成編
3. アプリ作成編

データ基盤構築

以下のアーキテクチャ図の流れでデータ基盤を構築しました。

1. Event Bridge

2つのEvent Bridgeのルールを作成しました。
1つ目はEC2を起動ます。その5分後に2つ目のルールによりEC2内に保存されているシェルスクリプトが実行されます。

2. EC2

最初はLambdaの使用を考えましたが、スクレイピングするのに1時間ほどかかるのでEC2を選択しました。このEC2内ではまずスクレイピング、前処理、賃料推定が行われます。

スクレイピングする情報

対象

1. 北千住
2. 三軒茶屋
3. 世田谷
4. 梅島
5. 久米川
6. 府中
7. 調布
8. 仙川

賃料推定の結果、実際の賃料<予測賃料となった物件のURLをLINEアカウントに通知させます。

3. S3

EC2から送信されたparquetファイルを保存します。

4. ATHENA

S3に保存されたparquetファイルに対してクエリを実行することができます。

次回の記事

スクレイピングしたデータを使って賃料予測モデルを作成します。