はじめに
「PythonのWebスクレイピングでAtCoderのレート分布を出してみた」の続きです。
今回は年代別ではなく所属大学別にレート分布を出しました。
基本的な部分は前のものと同じです。
所属について
AtCoder の所属はユーザーが好きなものを書けるため、所属大学が同じでも表記が異なることがあります。例えば、同じ東京大学所属でも、所属を「東京大学」にしている人と「The University of Tokyo」にしている人がいます。
このような表記揺れに対応するために、まずは各大学の表記例を以下のスプレッドシートにて集めました。
https://docs.google.com/spreadsheets/d/1I1jQHw1A7oZv-At2XjDwuAG2IKZS3Q-pbEWUjg76XLM/edit?usp=sharing
追加してくれた方々ありがとうございます。
実装
まずスプレッドシートにより集計された大学別所属名を csv ファイルとしてダウンロードして、そのファイルを読み込みます。空白は検索時に "+" に置き換える必要があるので、 replace() で置換しておきます。
# 所属名一覧
Affiliation_dict = defaultdict(list) # {大学名: [所属名のリスト], ...}
with open("AtCoder大学名表記一覧 - シート1.csv") as f:
reader = list(csv.reader(f))
for daigaku in reader[5:]:
for syozoku in daigaku[2:]:
if syozoku:
Affiliation_dict[daigaku[1]].append(syozoku.replace(" ", "+"))
# {'東京大学': ['The+University+of+Tokyo', '東京大学', 'UT', 'UTokyo'], ...}
今回は所属別のレート分布のため検索対象に日本語の文字列が入ります。そのため、日本語での検索に対応させる必要があります。「PythonでURLエンコード・デコード（urllib.parse.quote, unquote）」を参考にすると、
if is_japanese(aff): # 所属が日本語文字列か調べる
Affiliation = parse.quote(Affiliation) # URLエンコード
このように urllib.parse.quote() を使ってあげると日本語の文字列をURLエンコードしてあげることができます。
以下本コードです。
from urllib import request, parse
from bs4 import BeautifulSoup
from collections import defaultdict
import csv
import re
# 日本語かどうか
def is_japanese(string):
p = re.compile("[ぁ-んァ-ン一-龥]+")
return p.search(string) is not None
# 所属名一覧
Affiliation_dict = defaultdict(list) # {大学名: [所属名のリスト], ...}
with open("AtCoder大学名表記一覧 - シート1.csv") as f:
reader = list(csv.reader(f))
for daigaku in reader[6:]:
for syozoku in daigaku[2:]:
if syozoku:
Affiliation_dict[daigaku[1]].append(syozoku.replace(" ", "+"))
print(Affiliation_dict)
num = {} # {大学名: [灰色の人数, 茶色の人数, ...]} の形式で人数を入れる
for univ in Affiliation_dict:
print("-{}-".format(univ))
univ_num = [0] * 10 # 大学ごとの[灰色の人数, 茶色の人数, ...]
for aff in Affiliation_dict[univ]:
print("--{}--".format(aff))
if is_japanese(aff): # 所属が日本語文字列か調べる
Affiliation = parse.quote(aff) # URLエンコード
else:
Affiliation = aff
for rating in range(0, 4000, 400):
print(rating)
RatingLowerBound = rating
if rating == 3600: # 金以上
RatingUpperBound = 9999
else:
RatingUpperBound = rating + 399
# フィルタを URL にセットする
url_filter = "?f.Affiliation=" + Affiliation + \
"&f.RatingLowerBound=" + str(RatingLowerBound) + \
"&f.RatingUpperBound=" + str(RatingUpperBound) + \
"&page="
url = "https://atcoder.jp/ranking"
html = request.urlopen(url + url_filter + "0")
soup = BeautifulSoup(html, "html.parser")
ul = soup.find_all("ul")
a = []
# 指定したフィルタでのページ数を調べる
page = 0
for tag in ul:
try:
string_ = tag.get("class")
if "pagination" in string_:
a = tag.find_all("a")
break
except:
pass
for tag in a:
try:
string_ = tag.get("href")
if "ranking" in string_:
page = max(page, int(tag.string))
except:
pass
# フィルタ内順位
rank = []
# 順位の最大値を調べるために、順位表の最後のページを見る
html = request.urlopen(url + url_filter + str(page))
soup = BeautifulSoup(html, "html.parser")
td = soup.find_all("span")
for tag in td:
try:
string_ = tag.get("class").pop(0)
if string_ == "small":
rank.append(int(tag.string[1:-1]))
except:
pass
if rank:
# フィルタ内順位の最大値がその人数
univ_num[rating // 400] += max(rank) + rank.count(max(rank)) - 1
num[univ] = univ_num
# 人数が多い順にソートする
num_sort = sorted(num.items(), key=lambda x: sum(x[1]), reverse=True)
dict_sort = {}
for i in num_sort:
dict_sort[i[0]] = i[1]
print(dict_sort)
# CSV として書き出し
# 横軸が大学名、縦軸が色（上から灰色, 茶色, ...の順）
with open("rating_univ.csv", "w", encoding="shift_jis") as f:
writer = csv.DictWriter(f, dict_sort.keys())
writer.writeheader()
for i in range(10):
row = {}
for k, v in dict_sort.items():
row[k] = v[i]
writer.writerow(row)
結果
2019年8月10日8時00分時点での所属集計結果を元にして大学別レート分布を作成しました。数が多いため、10人以上いる大学のみになります。
・出力された csv ファイルを Excel にインポートして色付け
・100% 積み上げ縦棒
・積み上げ縦棒
