GoogleCloudのPlacesAPIについて
PlacesAPIについて簡単に説明すると、GoogleMapsPlatform APIの一部です。場所を検索したり、経路や道のりを自動取得するのに役立ちます。
公式ドキュメント -Google Maps Platform -Places API
GoogleMapsPlatformのAPIは数多ありますが、今回は会社名から電話番号を取得するので PlacesAPI を利用します。
また、PlacesAPIには PlacesAPI と PlacesAPI(New) がありますが、後者の方が機能面に充実しており、より安全で信頼性の高いとされているので今回はこれを利用します。
PlacesAPIとPlacesAPI(new)の違い
GoogleCloudのコンソールからAPIキーを作成
もちろんAPIを利用するにはアカウントが必要です。Googleも神様ではないので、一定の通信量を超えると料金が発生する 従量課金制 です。
Googleアカウントを作成し、GoogleCloudのコンソール画面に移動してAPIライブラリから PlacesAPI(New) を有効化してください。
その後、ランダムな文字列であるAPIキーが表示されるので、それを保存しておいてください。
また、利用にはクレジットカードでの支払い方法を登録する必要があります。
実行するAPIリファレンス
PlacesAPIのなかのどのAPIをリファレンスするかについては、Place Detailsが該当します。入力されたTextを検索し、でてきた情報（今回はその施設の電話番号）を抽出する際に利用するものです。
また、情報を取得する過程についてはTextで直接結果がでるのではなく、place_idというものを取得してその内容を参照します。
place_idについての詳細情報 -Googleマップで、特定の場所を一意に識別するID
利用するライブラリ
また、今回はJavascriptではなくPythonで実行するので以下のライブラリをインストールしてください。
https://pypi.org/project/googlemaps/
$pip install googlemaps
Pythonコード内で実際に利用する
実務で利用する場面を想定しているので、今回は以下のような仮装の案件を用意しました。
・ジモティーで検索し、でてきた案件の住所から電話番号を抽出する
今回はあくまで実験であり、学習のために行うものです。このページに存在するソースコードの第三者の利用についての責任については私と関連しません。
Webページから会社名一覧を取得する
まずはジモティーの案件一覧から住所をスクレイピングするコードを作成します。
今回は requests を利用します。
もちろん BeautifulSoup4 も利用します。
https://pypi.org/project/beautifulsoup4/
$pip pip install beautifulsoup4
$pip install requests
上記はジモティーに掲載されているの三重県の医療のアルバイト・バイト・パートの求人募集情報一覧です。まずは、このページにリクエストを送りHTMLをパースします。
bs4の具体的な使い方と仕組みについてはこちらを御覧ください。
メインページのHTMLをパースする
import requests
from bs4 import BeautifulSoup
url = "https://jmty.jp/mie/rec-care"
response = requests.get(url=url)
soup = BeautifulSoup(response.content, "html.parser")
これで、メインページのHTMLをパースできました。
つぎに、ここからそれぞれの案件のURLを取得し、それぞれにリクエストを送るコードを書きます。
URLの場所を特定
F12キーを押して、メインページを開発者ツールでみてみます。
それぞれの案件がそれぞれ li class ="p-articles-list-item" タグに格納サれていることがわかります。
基本的に一つのタグの中にURLが含まれている場合、 aタグのhref に存在しています。今回は以下の箇所になります。
それぞれの案件をパース
これらの情報がわかったので、案件それぞれのURLにアクセスしパースするコードをfor文で書きます
import requests
from bs4 import BeautifulSoup
url = "https://jmty.jp/mie/rec-care"
response = requests.get(url=url)
soup = BeautifulSoup(response.content, "html.parser")
for job in soup.find_all("li", class_="p-articles-list-item"):
job_url = job.a["href"]
job_response = requests.get(job_url)
job_soup = BeautifulSoup(job_response.content, "html.parser")
会社住所を抽出
ページ先のデフォルトの情報のテーブルに、「社名/店名」という要素が存在します。
テーブルのHTMLは以下のようになっています。
tdタグの class="p-article-column-key"の次にあるtdタグ のtextを取得すればいいので、bs4のnextメソッドを利用します。今回は、findメソッドで判定します。
import requests
from bs4 import BeautifulSoup
url = "https://jmty.jp/mie/rec-care"
response = requests.get(url=url)
soup = BeautifulSoup(response.content, "html.parser")
for job in soup.find_all("li", class_="p-articles-list-item"):
job_url = job.a["href"]
job_response = requests.get(job_url)
job_soup = BeautifulSoup(job_response.content, "html.parser")
main_table = job_soup.find('table', class_="unstriped p-article-column")
company_name = next((row.find('td', class_="p-article-column-value").get_text(strip=True) for row in main_table.find_all('tr') if '社名/店名' in row.text), None)
company_name = company_name if company_name else ""
print(company_name)
get_text メソッドは、要素内のテキストを取得します。strip=True は、テキストの前後の空白を取り除くためのオプションです。
next メソッドは、条件に一致する次の要素を取得します。この例では、main_table 内の各行で '社名/店名' が含まれている行を検索し、それに対応する企業名を取得しています。
また、例外処理をするために(これは特殊な記法ですが)三項演算子を使用しており、company_name が None の場合は空の文字列に設定します。これは、企業名が見つからない場合に備えた例外処理の一部です。
company_name変数を出力すると、コンソールは以下のようになります。
会社名がきちんと取得できているのが確認できたので、さっそく本題である電話番号検索に移ります!
取得できた会社名一覧から電話番号を検索する
ここからが本題です、長らくお待たせしました。
Pythonのgooglemapsライブラリを利用して、取得した会社名のplace_idをplacesAPIを利用して取得します。
PlacesAPIを叩いたresultを取得するコード
import googlemaps
api_key = "your api key input here ><"
...割愛します...
gmaps = googlemaps.Client(api_key)
results = gmaps.places(company_name)
print(results)
result(コンソール)
resultからplace_idを取得できたので、じっさいにそのplace_idを利用してその場所の情報を検索するコードを書きます。
place_idを叩くコード
...割愛します...
if len(results['results']) > 0:
place_id = results['results'][0]['place_id']
place_details = gmaps.place(place_id)
print(place_detalils)
else:
phone_number = '電話番号が見つかりません'
resultsの存在の有無について、存在しない場合は空の辞書が返ってくる仕様になっていることから、文字列が0より多いかどうかで判定しています。最後にdetailを出力します。
place_idのdetail(コンソール)
detailが多すぎるので、 ctrl+F で「phone」という単語でフィルタリングします。
その結果'formatted_phone_number'に電話番号が記載されていることが分かったので、以下のコードで抽出します。いよいよ完成です！
detailから電話番号を抽出
...割愛します...
if len(results['results']) > 0:
place_id = results['results'][0]['place_id']
place_details = gmaps.place(place_id)
phone_number = place_details['result'].get('formatted_phone_number')
phone_number = phone_number.strip()
else:
phone_number = '電話番号が見つかりません'
print(phone_number)
まず初めに、辞書ないからgetメソッドをつかって'formatted_phone_number'を抽出します。例外処理として、存在しない場合には'電話番号が見つかりません'に置き換えます。strip()も利用しています。
抽出した電話番号(上記のコードのコンソール)
これでこんかいの本題は終了しましたので、全体のコードを見せます！
全体のコード
import requests
from bs4 import BeautifulSoup
import googlemaps
api_key = "your api key input here ><"
url = "https://jmty.jp/mie/rec-care"
response = requests.get(url=url)
soup = BeautifulSoup(response.content, "html.parser")
for job in soup.find_all("li", class_="p-articles-list-item"):
job_url = job.a["href"]
job_response = requests.get(job_url)
job_soup = BeautifulSoup(job_response.content, "html.parser")
main_table = job_soup.find('table', class_="unstriped p-article-column")
company_name = next((row.find('td', class_="p-article-column-value").get_text(strip=True) for row in main_table.find_all('tr') if '社名/店名' in row.text), None)
company_name = company_name if company_name else ""
gmaps = googlemaps.Client(api_key)
results = gmaps.places(company_name)
if len(results['results']) > 0:
place_id = results['results'][0]['place_id']
place_details = gmaps.place(place_id)
phone_number = place_details['result'].get('formatted_phone_number')
phone_number = phone_number.strip()
else:
phone_number = '電話番号が見つかりません'
print(phone_number)
終わりに
今回は簡単なAPIリファレンスでしたが、住所や店舗名から電話番号を取得するメソッドについては割りと需要があると思うので、参考になれば幸いです。
閲覧ありがとうございました。