はじめに
何か、オープンソースのデータを可視化したいなという思いで作ってみました。
foliumを使用することで地図上に情報を載せることが出来るみたいなので、
自分の興味のあるものと紐づけて作成してみました。
データのダウンロード
pythonのライブラリーのfoliumを用いることで、
地図上に緯度経度情報があるデータを表示することが可能になる。
まず、https://linkdata.org/work/rdf1s8817i
にあるアニメ聖地の位置情報があるサイトにアクセスし、Excelファイルの
ダウンロードを行う。
データの前処理
ダウンロードを行ったExcelファイルから、「作品名」「経度」「緯度」を抜き出し、
新規にエクセルを作成し、コピー＆ペーストで貼り付ける。Excelファイルの
名称をdataにする。
df = pd.read_excel("data.xlsx", engine="openpyxl")
df
以下のように出力される。
作品名 緯度 経度
0 櫻子さんの足下には死体が埋まっている 43.770776 142.364744
1 僕だけがいない街 42.634082 141.605510
2 天体のメソッド 42.551203 140.764115
3 薄桜鬼 真改 41.768674 140.728924
4 艦隊これくしょん ‐ 艦これ‐ 41.292748 141.183478
... ... ... ...
459 五島の雲 山本二三美術館 NaN NaN
460 サンリオキャラクターパークハーモニーランド NaN NaN
461 【88番札所】東京都 NaN NaN
462 【０番札所】成田空港 NaN NaN
463 【1番札所】インフォメーションスポット NaN NaN
欠損値の処理
中身に、緯度・経度の情報が空欄の欠損値があるため、欠損値データの削除を行う。
df2 = df.dropna(subset=["緯度", "経度"])
df2
すると以下のように欠損値データがなくなる。
作品名 緯度 経度
0 櫻子さんの足下には死体が埋まっている 43.770776 142.364744
1 僕だけがいない街 42.634082 141.605510
2 天体のメソッド 42.551203 140.764115
3 薄桜鬼 真改 41.768674 140.728924
4 艦隊これくしょん ‐ 艦これ‐ 41.292748 141.183478
... ... ... ...
452 京都国際マンガミュージアム 35.010117 135.751464
454 水木しげるロード 35.539633 133.231627
455 青山剛昌ふるさと館 35.490018 133.758366
456 マチ★アソビ 34.070275 134.554863
457 香美市立やなせたかし記念館アンパンマンミュージアム 33.603884 133.686273
重複の削除
ここで、作品名の昇順に並び変えてみる。そして重複数を見てみる。
df2_sorted = df2.sort_values("作品名", ascending=False)
df2_sorted['作品名'].value_counts()
おへんろ。 16
心が叫びたがってるんだ。 8
ルドルフとイッパイアッテナ 8
艦隊これくしょん ‐ 艦これ‐ 5
文豪ストレイドッグス 4
..
ガールズ＆パンツァー 最終章 1
ガーリッシュ ナンバー 1
ガヴリールドロップアウト 1
凪のあすから 1
香美市立やなせたかし記念館・アンパンマンミュージアム 1
重複が存在していることがわかる。そのため、
最初に出現した重複行を残し、その他を削除します。
df3 = df2_sorted.drop_duplicates(subset='作品名', keep='first')
df3
作品名 緯度 経度
100 香美市立やなせたかし記念館・アンパンマンミュージアム 33.603884 133.686273
457 香美市立やなせたかし記念館アンパンマンミュージアム 33.603884 133.686273
45 青梅赤塚不二夫会館 35.787990 139.275791
455 青山剛昌ふるさと館 35.490018 133.758366
412 長門有希ちゃんの消失 34.737877 135.341522
... ... ... ...
280 true tears 36.557318 136.875321
7 Wake Up, Girls！ 新章 38.269075 140.870172
265 SHIROBAKO 35.717784 139.566260
107 ROBOTICS;NOTES 30.532819 130.958880
85 RDG レッドデータガール 33.988495 135.792417
105 rows × 3 columns
困った事１
ここで、今回生じた問題として、今回生じた問題として、df3加工済データ内にある。２,３行目「香美市立やなせたかし記念館・アンパンマンミュージアム」「香美市立やなせたかし記念館アンパンマンミュージアム」
7，8「長谷川町子記念館」「長谷川町子美術館」16，17「秒速５センチメートル」「秒速5センチメートル」（半角全角）
29，30の「有頂天家族２」、「有頂天家族2」、32，33「新潟市マンガ・アニメ情報館」、「新潟市マンガの家」
44，45「刀剣乱舞 ‐ONLINE‐」「刀剣乱舞 -ONLINE-」54，55「一休さん（酬恩庵一休寺）」「一休さん」
60，61，62「ヤマノススメ サードシーズン」「ヤマノススメ おもいでプレゼント」「ヤマノススメ サードシーズン」
85、86「ひるね姫～知らないワタシの物語～」「ひるね姫 ～知らないワタシの物語～」
100，101「『エヴァンゲリオン』シリーズ」「「エヴァンゲリオン」シリーズ」
といったいような重複が発見できた。
Levenshtein1で重複とみなす方法も考えましたが、それ以上の差があるものもあることから今回は、緯度経度が同じもので作成名が似ているものを削除する方法を試みようとしました。
困った事２
しかし、「蒼穹のファフナー」「かみちゅ！」が同じ緯度経度であることが判明34.409179 133.205638
「ハルチカ ～ハルタとチカは青春する～」「ちびまる子ちゃんランド」が同じ緯度経度34.975184 138.383293
薄桜鬼 真改 有頂天家族２ 有頂天家族2 少年陰陽師 夜は短し歩けよ乙女 京都国際マンガミュージアム いなり、こんこん、恋いろは。 上記はすべて同じ緯度経度35.010117 135.751464 弱虫ペダル 『エヴァンゲリオン』シリーズ35.232366 139.106915
「秒速5センチメートル」「文豪ストレイドッグス」35.444668 139.642153
純情ロマンチカ 世界一初恋 ラブライブ！ シュタインズ・ゲート35.694041 139.753586
杉並アニメーションミュージアム アクセル・ワールド アクエリオンロゴス35.699574 139.636385
時をかける少女 刀剣乱舞 ‐ONLINE‐ 刀剣乱舞 -ONLINE- 三ツ星カラーズ35.712607 139.779998
そにアニ -SUPER SONICO THE ANIMATION- SHIROBAKO35.717784 139.56626
ミス・モノクローム ガーリッシュ ナンバー38.601088 140.406779
釣りキチ三平 横手市増田まんが美術館39.313784 140.566648
実際に行ったこと
明らかに同じような緯度経度に様々な作品が重複しすぎているような気がしたため、 また作品数が残り、105ということを考えて、エクセルファイルから似たものを削除していった。 今回削除したものは、昇順にした際の後半のものを削除を行った。 3行目「香美市立やなせたかし記念館アンパンマンミュージアム」８行目「長谷川町子美術館」 17行目「秒速5センチメートル」２９行目「有頂天家族2」３２行目「新潟市マンガの家」 44行目「刀剣乱舞 -ONLINE-」５３行目「一休さん」59，60行目「ヤマノススメ おもいでプレゼント」「ヤマノススメ サードシーズン」 82行目「ひるね姫 ～知らないワタシの物語～」97行目「「エヴァンゲリオン」シリーズ」
マッピングを行う
#94作品をマッピングを行う。
import folium
import pandas as pd
# データを読み込む（エンコーディングを指定する）
df = pd.read_excel("df3sakuzyo.xlsx", engine="openpyxl")
#☆↑ここのエクセルは、削除を行った後の名称に変更する必要あり
# 地図の中心を日本に設定する
map_center = [38.5, 138.5]
# 地図を作成する
map = folium.Map(location=map_center, zoom_start=5)
# データを地図に表示する
for index, row in df.iterrows():
folium.Marker(location=[row["緯度"], row["経度"]], popup=row["作品名"]).add_to(map)
# 地図をHTMLファイルとして保存する
map.save("map1.html")
日本地図上にマッピングできました。
また、緯度35°00'36.4" 経度135°45'05.3"ここは、京都の二条城前駅の近くのため、重複していてもおかしくはないと予想ができる。
最終的には、正確な場所は各作品を見て判断を行う必要はある。
おまけ＜新規に場所を追加していく方法＞
今回、下記のデータを追加で挿入してみる。
作品名: "プリパラ", "緯度": 35.6702989, "経度": 139.7074779
作品名: "エロマンガ先生", "緯度": 35.7612453, "経度": 139.8054765
# 追加するデータを辞書型に格納する
new_data_1 = {"作品名": "プリパラ", "緯度": 35.6703247, "経度": 139.7088716}
new_data_2 = {"作品名": "エロマンガ先生", "緯度": 35.7612453, "経度": 139.8054765}
# 追加するデータをDataFrameに変換する
new_df_1 = pd.DataFrame([new_data_1])
new_df_2 = pd.DataFrame([new_data_2])
# dfに新しいデータを追加する
df = df.append(new_df_1, ignore_index=True)
df = df.append(new_df_2, ignore_index=True)
df
作品名 緯度 経度
0 香美市立やなせたかし記念館・アンパンマンミュージアム 33.603884 133.686273
1 青梅赤塚不二夫会館 35.787990 139.275791
2 青山剛昌ふるさと館 35.490018 133.758366
3 長門有希ちゃんの消失 34.737877 135.341522
4 長谷川町子記念館 35.646575 139.653249
... ... ... ...
91 SHIROBAKO 35.717784 139.566260
92 ROBOTICS;NOTES 30.532819 130.958880
93 RDG レッドデータガール 33.988495 135.792417
94 プリパラ 35.670325 139.708872
95 エロマンガ先生 35.761245 139.805476
df.to_excel("df追加更新していく.xlsx", index=False)
import folium
import pandas as pd
# データを読み込む（エンコーディングを指定する）
df = pd.read_excel("df追加更新していく.xlsx", engine="openpyxl")
# 地図の中心を日本に設定する
map_center = [38.5, 138.5]
# 地図を作成する
map = folium.Map(location=map_center, zoom_start=5)
# データを地図に表示する
for index, row in df.iterrows():
folium.Marker(location=[row["緯度"], row["経度"]], popup=row["作品名"]).add_to(map)
# 地図をHTMLファイルとして保存する
map.save("map2.html")
追加で日本地図上にマッピングができました。
