世界中のpyconがいつどこで開催されるのか、わかりにくかったので、Foliumでマッピングしてみた

Last updated at 2019-07-17Posted at 2019-06-09

TL;DR;

世界中で開催されるPythonのカンファレンスの情報を、地図にマッピングしてherokuにデプロイするまで、をかいてます。

なぜこんなことをするのか

転職を考えていて、転職先の会社が「他の国のPyconにも行こうかと思ってる」といっていたので、「やばい仕事で海外いきたい。どこの国のやつならいけそうかしら」っていうのをさっと確認しようと思ったのがきっかけです。

pycon.orgのサイトが思ったより見にくくて「これに行きたいです！」とスッといえないなあと思い地図にマッピングしようと思いました。

Pycon とは

PyCon JPとは — PyCon JP 運営マニュアル 0.1 ドキュメント

PyCon JPは、日本で開催されるプログラミング言語Pythonに関する国際カンファレンスです。 PyCon(Python Conference)はアメリカをはじめ世界中で開催されており、 PyCon JPはそのうちの日本で開催されているものです。

Pyconは世界中で開催されているようです。

Pyconのサイトが見にくい

Pyconのサイト(http://pycon.org/)は、各国のPyconなどの入り口となっているサイトで、「詳細はURLをクリックしてね」の感じになっています。

いつどこであるかも、URLの先を見ないと分からなくて目的を達成できません。

まずはスクレイピングしてみる

http://pycon.org/よりリンクを取得して、その分ループして各国のサイトをなめようと試みます。

import logging
import requests
from bs4 import BeautifulSoup


URL = 'http://pycon.org'

headers = {"user-Agent":"pycon"}
resp = requests.get(URL, timeout=1, headers=headers)
r_text = resp.text

soup = BeautifulSoup(r_text, 'html.parser')

link = soup.find_all('a')
listurl = []

for t in link:
    hrefsoup = t.attrs['href']
    print(hrefsoup)
    listurl.append(hrefsoup)

prefix = "http"
for h in listurl:
    if h.startswith(prefix):
        listurl.append(h)

スクレイピングしたところで、サイトの作りはまちまちだし、pyconの場所、時間はうまくとれません。

おや

pyconのサイトをよくみると、、、google calendar があります。

...スクレイピングいらないですね。

といことでicsファイルからイベント情報を抜き出します。

ICSファイルを解析する

以下を参考にしました。
Pythonを使ってファイル（ics/icalendar）を解析する

from icalendar import Calendar, Event
from pandas import DataFrame
import googlemaps

ics_info = list()
g = open('basic.ics','rb')
gcal = Calendar.from_ical(g.read())

for component in gcal.walk():
    if component.name == "VEVENT":
        ics_from =  (component.get('dtstart'))
        to_dt = date(2019, 1, 1) # 2019年のをとります
        if ( type(ics_from.dt) is date and ics_from.dt > to_dt ):
                ics_info.append([(component.get('SUMMARY')),(component.get('DTSTART')),(component.get('LOCATION')),(component.get('DESCRIPTION'))])

g.close()
df_ics = DataFrame(ics_info)

次にGoogleMaps APIで Geocoding

以下を参考にさせていただきました。
foliumで一宮の場所を見る

from pandas import Series ,DataFrame
import googlemaps
# GoogleMaps API Key
api_key = '' # 取得したAPI KEYを入力してください。
gmaps = googlemaps.Client(key=api_key)

geo_loc = list()
for index,item in df_ics.iterrows():
        results = gmaps.geocode(item[2])
        for result in results:
            addr = result['formatted_address']
            location = result['geometry']['location']
            lat = location['lat']
            lng = location['lng']
            geo_loc.append([item[0],item[1].dt,item[2], lat, lng])

df_geo = DataFrame(geo_loc,columns=['pycon_name','date','location','lat','lon'])

foliumにてマッピング

これも上のと同じ記事を参考にしました。

import folium

m = folium.Map(location=[30, 10],
               zoom_start=3,
               attr='&copy; <a href="http://osm.org/copyright">OpenStreetMap</a> contributors')

print(df_geo)
for i,r in df_geo.iterrows():
        code = [float(r['lat']), float(r['lon'])]
        text = ('<b>' + r['pycon_name'] + '</b><br>' + format(r['date']))
        pop_info=folium.Popup(text, max_width=1000)

        folium.Marker(code, popup=pop_info).add_to(m)

m.save('pycon.html')