概要

SUUMOにて割安な賃料物件を探しました。

調査は以下の3つに分割しました。

データ基盤構築

以下のアーキテクチャ図の流れでデータ基盤を構築しました。

2つのEvent Bridgeのルールを作成しました。
1つ目はEC2を起動ます。その5分後に2つ目のルールによりEC2内に保存されているシェルスクリプトが実行されます。

最初はLambdaの使用を考えましたが、スクレイピングするのに1時間ほどかかるのでEC2を選択しました。このEC2内ではまずスクレイピング、前処理、賃料推定が行われます。

対象

賃料推定の結果、実際の賃料<予測賃料となった物件のURLをLINEアカウントに通知させます。

EC2から送信されたparquetファイルを保存します。

S3に保存されたparquetファイルに対してクエリを実行することができます。

スクレイピングしたデータを使って賃料予測モデルを作成します。