arXiv APIのPythonでの取得

arXiv API

なんかtwitter@astro_ph_EPは止まってしまったし，指定カテゴリだけながすbotさんとか欲しいかなー，みたいな感じでちょっとarXiv APIでも見てみましたが．

しかし公式( https://arxiv.org/help/api/user-manual )の記述そのままでは動作しないのでした…

公式の修正

エラーは以下で発生．

data = urllib.urlopen(url).read()

urllibが古い?
公式の記述なら下記のように書き換えれば動作します！

import urllib.request
url = 'http://export.arxiv.org/api/query?search_query=all:electron&start=0&max_results=1'
data = urllib.request.urlopen(url).read()

取得例

import urllib.request
import datetime as dt
import re


def main():
	basedate = dt.date.today()+dt.timedelta(days=-1)
	previousdate = basedate +dt.timedelta(days=-1)

	url_q = 'http://export.arxiv.org/api/query?search_query=submittedDate:['+previousdate.strftime('%Y%m%d')+'1400+TO+'+basedate.strftime('%Y%m%d')+'1400]+AND+(cat:astro-ph.EP)&start=0&sortBy=submittedDate&sortOrder=ascending'
	data = urllib.request.urlopen(url_q).read().decode('utf-8')
	#
	parse = lambda a,b: re.findall("<" + b + ">([\s\S]*?)<\/" + b + ">", a)
	#
	entries = parse(str(data), "entry")
	for entry in entries:
		url = parse(entry, "id")[0]
		title = parse(entry, "title")[0]
		author = ', '.join(parse(entry, "name") )
		summary = parse(entry, "summary")[0]
		print( '%s\n%s\n%s\n%s' % (url, title, author, summary) )

if __name__ == '__main__':
	main()

微妙にNew submissionsと件数が合わない…
米祝日はholidays.US()を使えば回避可能．