tseを使って未投稿があるQiita Advent Calendarをさらす #Python

はじめに

この記事は、クローラー／Webスクレイピング Advent Calendar 2016 8日目の記事です。
出遅れてしまってすみませんでしたorz

ここでやること

自分が出遅れたことは棚に上げて、他のAdvent Calendarにも未投稿者がいないかどうか調べてみようと思います。

Pythonによるテキスト整形ツールtseとbeautifulsoup4を使って、Qiitaからデータを抽出します。

tseとは？

詳しくはPyCon JP 2015で石本さんが発表されたスライドを見れば、理解できるかと思います。
tse - Pythonによるテキスト整形ユーティリティ

今回使用するtse用例

-ms  -- <モジュール名 import * 形式>でインポートする
-b   -- 起動直後に実行するアクション
{{}} -- インデントするブロックを指定

環境

Python 2.7.10

実際にやってみる

カテゴリ一覧

$ curl http://qiita.com/advent-calendar/2016 | tse -ms 'bs4' -b 'for a in BeautifulSoup(sys.stdin.read(), "lxml").find_all("a", class_="adventCalendarCard_block_showAll"):{{print(a.get("href"))}}' > categories.txt

categories.txt

/advent-calendar/2016/categories/to_be_decided
/advent-calendar/2016/categories/programming_languages
/advent-calendar/2016/categories/libraries
/advent-calendar/2016/categories/databases
/advent-calendar/2016/categories/web_technologies
/advent-calendar/2016/categories/mobile
/advent-calendar/2016/categories/devops
/advent-calendar/2016/categories/iot
/advent-calendar/2016/categories/os
/advent-calendar/2016/categories/editors
/advent-calendar/2016/categories/academic
/advent-calendar/2016/categories/services
/advent-calendar/2016/categories/company
/advent-calendar/2016/categories/miscellaneous

カレンダー一覧

$ cat categories.txt | while read line; do curl http://qiita.com$line | tse -ms 'bs4' -b 'for td in BeautifulSoup(sys.stdin.read(), "lxml").find_all("td", class_="adventCalendarList_calendarTitle"):{{print(td.find_all("a")[-1].get("href"))}}' >> calendars.txt; done

calendars.txt

cat calendars.txt
/advent-calendar/2016/chat-bot
/advent-calendar/2016/idd
/advent-calendar/2016/enough
/advent-calendar/2016/rite
/advent-calendar/2016/befool
~
/advent-calendar/2016/bookthankyou
/advent-calendar/2016/muscle
/advent-calendar/2016/ue4_inside
/advent-calendar/2016/job
/advent-calendar/2016/job2

未投稿カレンダー一覧

$ cat calendars.txt | while read line; do curl http://qiita.com$line | tse -ms 'bs4' -b 'bs=BeautifulSoup(sys.stdin.read(), "lxml"){{}}if bs.find("div", class_="adventCalendarItem_cancelButton"):print("[" + bs.title.string.split("- Qiita")[0].strip().encode("utf-8") + "](http://qiita.com" + bs.find(id="redirect_path").get("value")  + ")")' >> not_post_calendars.md; done

※ 12/10 5:00時点

おわりに

全て	未投稿
509	141

結果はこのようになりました。

現時点では全体の28%です。
2016年を気持ちよく終えられるよう、後日投稿・代理投稿を駆使して未投稿カレンダーの割合を減らせるよう皆さん張り切っていきましょう！