謎の ChunkedEngcodingError
Google App Engine Standard Environment (Python 2.7) で line_bot_sdk を使って LINE Bot を動かしていると、ときどき以下のような例外を吐きます。
ChunkedEncodingError: ('Connection broken: IncompleteRead(2 bytes read)', IncompleteRead(2 bytes read))
返答を投げ終わった後のレスポンスのパースで落ちているため、メッセージ送信自体は正常に完了しているので、無視しても良いのですが、どうにも気持ち悪いので、原因を調査してみました。
原因
- GAE では httplib が urlfetch で再実装されている。
- line_bot_sdk が使っている requests が使っている urllib3 には、下位層が httplib のインスタンスだったときだけ http の chunked encoding を自前で解決するコードが含まれている。
- しかし、urlfetch で再実装された GAE の httplib は chunked encoding を自前でデコードしてしまう。
- urllib3 で chunked encoding を二重にデコードしようとして例外が発生する。
エラーの中身
IncompleteRead(2 bytes read) と出ている中身をデバッグ出力してみたところ、 '{}' でした。
LINE Messaging API のサーバは、普段は chunked encoding を使わないのですが、まれに chunked encoding で返信を返してくるようで、その時だけエラーが発生していたようです。
複数端末から同時アクセス発生時にのみ起こる気がしますので、複数リクエストが被ってコネクションをkeepaliveで使いまわした時だけとか、そういう話な気がしてますが、そこまでは追っていません。
解決方法
類似した内容をディスカッションしている urllib3 の issue では、以下のパッチが提案されています。
urllib3 の問題なのに requests のレイヤで対応しているのが微妙に気持ち悪いですが、とりあえず同じパッチを当てれば、chunked encoding の問題は発生しなくなります。
（本質的には、urllib3/response.py で self.raw の httplib の中身が GAE 版だと判別できたら self.chunked を True にしないというのが正しい対処のはずです）