#Qiitaの投稿について調べた件
- Qiitaに投稿している人はどの時間帯に投稿してるのだろう
- どの曜日に投稿が多いのだろう・・・
などいろいろ疑問に思い、調べた話
#調査のやり方や期間など
- Webスクレイピングによって、全ての投稿の投稿タイトルやURL、投稿者を記録する（APIの存在は後で気づいた）
- 10分間隔で情報をとりにいく（10分間に大量に投稿があった場合、とりこぼしがあるかも）
- 使用言語はPythonでRasberry Piをサーバ代わりに運用
- 調査期間は2016年5月29日～6月4日、7月13日～現在進行形
##ラズパイが落ちまくった話
全ての投稿のページがJavaScriptで動的にロード？されてるみたいで、seleniumを採用
こん感じでログインして、ソースコードを取得する
display = Display(visible=0, size=(800, 600))
display.start()
driver = webdriver.Firefox()
driver.get("http://qiita.com/")
driver.find_element_by_id("identity").send_keys("mail address")
driver.find_element_by_id("password").send_keys("password")
driver.find_element_by_name("commit").send_keys(Keys.RETURN)
time.sleep(10)//配慮
driver.get("http://qiita.com/items")
source = driver.page_source.encode("sjis","ignore")
driver.close()
display.stop()
数日、テストとして動かしていたら１～３日でラズパイがフリーズしてしまい、ソースコードを見なおしていたら「stopがないじゃん！」って思ってdisplay.stop()を書いたら、フリーズしなくなりました（#^ω^）
display.stop()//←こいつ
タイトルとか投稿者を抜き出すコードは要らないですよね(´・ω・｀)
タグも抜き出せば良かった・・・（大失敗）
#結果
##まず、時間帯別
当然のようですが、４，５時の時間帯が最も投稿数が少なく、２３、０時が多く投稿されている時間帯のようですね
やはり、エンジニアは夜型のようです
１１時、１６時に投稿数が増えるのは休憩や休み時間とかなのでしょうか（笑）
##次は曜日別
予想外に、水曜日が多い・・・個人的予想では日曜が多いのかと思った
これは調査した期間の影響か！？
##日別
７月２２、２３日はなぜかラズパイが死に、それに気づかず放置
７月３０、７月３１日は間違えてラズパイの電源タップを切ってしまった
#終わり
本当は、ミスった日は除外しないと正確な結果が出ないのだけれど、面倒になってエクセルに「ぽいー」したので、結果をあまり信用しないように・・・
途中で気づいたことで、タグも記録してればタグごとにも集計出せたのに・・・
タグごとに集計された方