Python Requestsを使ってmultipart/form-dataをin-memoryで送る方法

概要

Python Requestsを使って、multipart/form-dataを送る場合、openで開いたファイルを送る仕様となっている。
Pythonの辞書形式のデータをJSONファイルとして送る場合、一時的にJSONファイルを作成せずに送る方法が分からなかった。
Python Requestsを使ってmultipart/form-dataをin-memoryで送る方法を記す。

Python Requestsの仕様

Python Requestsを使って、multipart/form-dataを送る場合、openで開いたファイルを送る仕様となっている。
https://requests-docs-ja.readthedocs.io/en/latest/user/quickstart/#id7

import requests

url = "https://example.com"
headers = {
  "Content-Type": "multipart/form-data",
}
files = {
  'file': ('report.xls', open('report.xls', 'rb'))
}
response = requests.post(url, headers=headers, files=files)

解決方法

JSON(辞書データ)を送りたい場合

from io import BytesIO
import json
import requests

url = "https://example.com"
data = {"hoge":"hoge"}
headers = {
  "Content-Type": "multipart/form-data",
}

binary_stream = BytesIO(json.dumps(data).encode('utf-8'))
files = {
  "file": ("filename.json", binary_stream),
}
response = requests.post(url, headers=headers, files=files)

解説

open で何を呼び出しているかというと、バイナリストリームのオブジェクトである。
ioのリファレンスを読むと以下のように書いてある。
https://docs.python.org/ja/3/library/io.html#module-io

バイナリー I/O (buffered I/O とも呼ばれます) は bytes-like オブジェクト を受け取り bytes オブジェクトを生成します。エンコード、デコード、改行文字変換は一切行いません。このカテゴリのストリームは全ての非テキストデータや、テキストデータの扱いを手動で管理したい場合に利用することができます。

バイナリーストリームを生成する一番簡単な方法は、 open() の mode 文字列に 'b' を指定することです:

f = open("myfile.jpg", "rb")
BytesIO はインメモリーのバイナリストリームです:

f = io.BytesIO(b"some initial binary data: \x00\x01")
バイナリーストリーム API は BufferedIOBase のドキュメントで詳しく解説します。

ということで、open()でファイルからバイナリストリームオブジェクトを生成する代わりに、io.BytesIO()でインメモリのバイナリストリームを生成する。

辞書データからバイナリストリームまでの道のり

from io import BytesIO
import json

# 元なる辞書
data = {"hoge":"hoge"} 
# JSONとして、Stringに変換
string_data = json.dumps(data) 
# utf-8形式でバイトに変換、
bytes_data = string_data.encode('utf-8')
# バイトデータをバイナリストリームに変換 
binary_stream = BytesIO(bytes_data)

もちろん、JSON以外にCSVやXMLなどもインメモリで作成し、そのまま requests でmultipart/form-dataとして送ることが可能。

参考記事

辞書データをJSONに変換し、BytesIOオブジェクトにする方法の参考にした。
https://stackoverflow.com/questions/53118672/what-is-correct-way-to-load-json-file-stored-in-the-bytesio-object
open と BytesIO オブジェクトの違いについて参考にした。
https://stackoverflow.com/questions/42800250/difference-between-open-and-io-bytesio-in-binary-streams