Edited at

不動産テックニュースを追うためのクローリング情報収集術

この記事は、LIFULLその2 Advent Calendar 2018の7日目の記事です。

私はLIFULL HOME'Sのデータ分析の部署で働いています。そこできちんとした価値を提供するためには、「同じものが提供してもっと楽に実装したい」とか「このデータってこんな目的に利用できるんじゃないか」とか議論するには、ある程度は不動産業界の情報を追う必要があると感じています。

また、最近公開された最新版の不動産テックカオスマップを見ても分かる通り、数多くの不動産テックサービスが現れてきています。全てではないにしても、ある程度は知っておくと便利です。例えば、いくつかのVRサービスが現れてきているとか。

いくつかIRサイトの更新通知等、いくつかの通知用のスクリプトを使い分けて、少しずつ「気付ける範囲」を広げています。そのクローラーの運用ノウハウ的なものを公開します。

似たような記事も少なく私自身「他の同業界のエンジニアはどう情報収集してるんだろう?」と不思議に思っていたので、同じことを感じているエンジニアの方もいるはずだと思って書きました。


定点観測するサイト

IRサイトや各種ニュースサイトを定点観測していて、ニュース一覧ページをクロール(RSS等のフィードが存在する場合はそちらを)クロールして通知しています。

詳しくはこちらの記事を読んでください。

https://qiita.com/ninomiyt/items/bf6c2e344daeaf5bf786

不動産テック専門メディア SUMAVE

https://www.sumave.com/


スマーブは国内外の不動産テック(不動産とテクノロジー)の最新事例やニュースを幅広く知ることができるニュースメディアサイトです。


リブセンスさんが運営している国内外の不動産テック企業を扱っているWEBメディアです。自分の知らない企業が扱われていて、新しく知ることも多いです。

Twitterのフォロワーも100人弱程度しかいないのでちょっとビックリしています。

https://twitter.com/sumave_news

市川 紘(Ko Ichikawa)さんのmedium

https://medium.com/@coichikawa


事業開発・ファイナンス担当VP@シリコンバレーの不動産テック企業。前職はリクルートのSUUMOで、営業→プロダクト→経営企画マネージャー→新規事業開発部長を担当。


海外の不動産テック。不動産分野は海外(特にアメリカ)のほうが進んでいると言われていて、社内の話を聞いて「ああ、海外で既に成功事例があって日本に輸入したがってるんだな」と気づくことも多いです。

各社WEBサイトのIR情報

これはちょっとここに書くには卑怯かもしれませんが、一番スピーディーに情報をキャッチすることができます。ついでに社内チャットに通知して広報しています。現在40~50社程度を通知しています。

競合サービス等の情報です。簡単な設定でRSSやサービスからチャットに通知できるようにして地道に追加していっています。自分の周囲で話題になっている企業や団体を、地道に追加していっています。

スクリーンショット 2018-12-09 17.35.53.png

元々は個人用に使っていたのですが、当時の上司に勧められてチャット部屋を作って公開したところ、ちょっとした評判となりました。現在100人を超える大所帯な部屋になっていて、「このサービス気になるね」みたいなコメントや解説を入れてくれる方もいて勉強になっています。


各種ニュース媒体

各種ニュース媒体のフィードから、不動産関連のニュースだけフィルタリングして通知しています。一部を紹介するとこんな感じです。

これらのサイトは不動産関連以外のニュースも扱うため、膨大な量になります。そのためタイトル文字列でフィルタリングして使っています。

不動産関連であれば「["不動産", "空き家", "マンション"…]など、不動産関連の単語が含まれているかどうか」という簡単な判定で、それなりに精度良くフィルタリングできます。運良く単純な条件で判別できましたが、もし他の業界であればさらなる工夫(例えば機械学習関連だと新しい手法やサービスの辞書の整備や判定方法の更新などの作業)が必要かもしれません。


GoogleアラートやSNS

各種SNSで話題になっている不動産関連ニュースも通知しています。こちらは主に定点観測サイトを追加するために運用しています。

こちらは「タイトルとURLをリツイート数の多い順にソート」して、ある程度俯瞰できるように工夫しています。


最後に

いかがだったでしょうか?

ただ、不動産が本業の弊社メンバーはさらに業界の動向をキャッチアップして「こういうサービスが必要なんじゃないか」と日々考えているのに対して、私はそこまで追う時間はなく、最低限議論するために「こういうサービスもあるんだ」という程度しかキャッチアップして(でき)いません。(プログラミングや技術の勉強も忙しく…っていうとちょっと言い訳がましいですが)

あと、(社内外問わず)経営層の方と話すると「その情報、一応公開されてるけどこんなのすみっこにしか書かれてないやつどうやって気づいたの?」って思うことありますよね。あれってどうやってるんでしょうか?

もし他に「自分はこうキャッチアップしてるよ」「この媒体抜けてるけどオススメだよ!」などがあればコメントください!