Python RequestsモジュールでのJSONDecodeError

概要

• PythonのRequestsモジュールを利用して、APIレスポンスを取得しようとしたがJSONDecodeErrorになり、うまく取得できなかった。
• レスポンスがHTMLなのにJSONに変換しようとしていたことが原因。
• とりあえず、Unicodeに変換したらちゃんと取得できた。

もうちょっと詳しく

エラーが出た。。。なぜ？

以下のようにrequests.requestでResponseを取得してr.json()でJSONに変換した。

r = requests.request(method, URL, heasers=headre, data=data)
return r.json()

そうすると下記のエラーが出た。。。
JSONDecodeError, Expecting value: line 1 column 1 (char 0)

色々試したところ、requests.requestで取得したResponseオブジェクトrがHTMLだということがわかった。

対処！！
requests.requestで取得したrequests.ResponseオブジェクトをUnicodeに変換。

r = requests.request(method, URL, heasers=headre, data=data)
return r.text()

これでとりあえずHTMLを取得できた。

Beautiul Soupを利用すると、さらにHTMLからうまいことデータを抽出できるらしい。試していませんが、興味ある方は参考に載せたサイトをどうぞ。

参考

• Requetsモジュール仕様

• Beautiul Soupについて