はじめに

この記事は、クローラー／Webスクレイピング Advent Calendar 2017 16日目の記事です。

ここでやること

去年と同じくAdvent Calendarに未投稿者がいないかどうか調べてみようと思います。

tseを使って未投稿があるQiita Advent Calendarをさらす - Qiita

Pythonによるテキスト整形ツールtseとbeautifulsoup4を使って、Qiitaからデータを抽出します。

tseとは？

詳しくはPyCon JP 2015で石本さんが発表されたスライドを見れば、理解できるかと思います。
tse - Pythonによるテキスト整形ユーティリティ

今回使用するtse用例

-ms  -- <モジュール名 import * 形式>でインポートする
-b   -- 起動直後に実行するアクション
{{}} -- インデントするブロックを指定

環境

Python 3.6.3

実際にやってみる

カテゴリ一覧

$ curl https://qiita.com/advent-calendar/2017 | tse -ms 'bs4' -b 'for a in BeautifulSoup(sys.stdin.read(), "lxml").find_all("a", class_="adventCalendarCard_block_showAll"):{{print(a.get("href"))}}' > categories.txt

categories.txt

/advent-calendar/2017/categories/to_be_decided
/advent-calendar/2017/categories/programming_languages
/advent-calendar/2017/categories/libraries
/advent-calendar/2017/categories/databases
/advent-calendar/2017/categories/web_technologies
/advent-calendar/2017/categories/mobile
/advent-calendar/2017/categories/devops
/advent-calendar/2017/categories/iot
/advent-calendar/2017/categories/os
/advent-calendar/2017/categories/editors
/advent-calendar/2017/categories/academic
/advent-calendar/2017/categories/services
/advent-calendar/2017/categories/company
/advent-calendar/2017/categories/miscellaneous

カレンダー一覧

$ cat categories.txt | while read line; do curl https://qiita.com$line | tse -ms 'bs4' -b 'for td in BeautifulSoup(sys.stdin.read(), "lxml").find_all("td", class_="adventCalendarList_calendarTitle"):{{print(td.find_all("a")[-1].get("href"))}}' >> calendars.txt; done

calendars.txt

cat calendars.txt
/advent-calendar/2017/distributed-computing
/advent-calendar/2017/etrobo
/advent-calendar/2017/frodos-winter-vacation
/advent-calendar/2017/genexus
/advent-calendar/2017/git
~
/advent-calendar/2017/ue4vrgame-create
/advent-calendar/2017/kuso-app2017
/advent-calendar/2017/puzzle
/advent-calendar/2017/private-development
/advent-calendar/2017/hardware

未投稿カレンダー一覧

$ cat calendars.txt | while read line; do curl https://qiita.com$line | tse -ms 'bs4' -b 'bs=BeautifulSoup(sys.stdin.read(), "lxml"){{}}if bs.find("div", class_="adventCalendarItem_cancelButton"):print("[" + bs.title.string.split("- Qiita")[0].strip() + "](https://qiita.com" + bs.find(id="redirect_path").get("value")  + ")")' >> not_post_calendars.md; done

※ 12/17 1:30時点

おわりに

全て	未投稿
589	225

結果はこのようになりました。

現時点では全体の38%です。
2017年を気持ちよく終えられるよう、後日投稿・代理投稿を駆使して未投稿カレンダーの割合を減らせるよう皆さん張り切っていきましょう٩( ᐛ )و