※本記事はbing chatを使用して生成しています。
※私が最近urllib.requestを使用する機会があり、汎用性が高そうだったため、備忘録として投稿します。
PythonでWeb APIを利用するときには、標準ライブラリのurllib.requestモジュールを使うことができます。このモジュールには、urlopenとurlretrieveという2つの関数があります。それぞれの使い方と注意点について説明します。
urlopenの使い方
urlopenは、URLを指定してWebサーバーにリクエストを送り、レスポンスを受け取る関数です。レスポンスは、HTTPResponseオブジェクトとして返されます。HTTPResponseオブジェクトは、ファイルオブジェクトと同じように扱うことができます。例えば、readメソッドでレスポンスの内容を読み込んだり、closeメソッドで接続を閉じたりできます。
urlopenの基本的な使い方は以下のようになります。
import urllib.request
url = "https://example.com/api"
response = urllib.request.urlopen(url)
data = response.read()
response.close()
print(data)
urlには、Web APIのエンドポイントを指定します。エンドポイントとは、Web APIの機能やリソースにアクセスするためのURLのことです。例えば、天気予報のAPIなら、"https://weather.example.com/api/forecast" のようなURLになるでしょう。
responseには、HTTPResponseオブジェクトが返されます。このオブジェクトから、レスポンスの内容やステータスコードなどの情報を取得することができます。レスポンスの内容は、readメソッドでバイト列として読み込むことができます。バイト列とは、0から255までの整数の並びのことです。バイト列は、decodeメソッドで文字列に変換することができます。例えば、decode("utf-8")とすると、UTF-8という文字コードでバイト列を文字列に変換します。
response.close()は、接続を閉じるためのメソッドです。接続を閉じることで、リソースを解放することができます。接続を閉じるのを忘れると、メモリリークやパフォーマンス低下などの問題が発生する可能性があります。接続を自動的に閉じるためには、with文を使うことがおすすめです。
with urllib.request.urlopen(url) as response:
data = response.read()
print(data)
with文は、インデントされたブロック内でオブジェクトを使用した後に自動的にcloseメソッドを呼び出す構文です。with文を使うことで、コードがシンプルになりますし、接続を閉じるのを忘れる心配もありません。
urlopenには、第二引数や第三引数などもあります。第二引数には、POSTやPUTなどのメソッドで送信するデータを指定することができます。データはバイト列かイテラブルオブジェクト（リストやタプルなど）である必要があります。第三引数には、タイムアウト（秒）を指定することができます。タイムアウトとは、レスポンスが返ってくるまで待つ最大時間のことです。タイムアウトを超えた場合は、URLErrorという例外が発生します。
urlretrieveの使い方
urlretrieveは、URLを指定してWebサーバーにリクエストを送り、レスポンスの内容をファイルに保存する関数です。ファイルのパスは、第二引数で指定することができます。第二引数を省略した場合は、一時ファイルに保存されます。一時ファイルとは、プログラムが終了すると自動的に削除されるファイルのことです。
urlretrieveの基本的な使い方は以下のようになります。
import urllib.request
url = "https://example.com/api"
filename = "data.json"
urllib.request.urlretrieve(url, filename)
print("Saved to", filename)
urlには、Web APIのエンドポイントを指定します。filenameには、レスポンスの内容を保存するファイルのパスを指定します。ファイルのパスとは、ファイルの場所や名前を表す文字列のことです。例えば、"C:\Users\user\Desktop\data.json"や"/home/user/Desktop/data.json"のような文字列です。
urlretrieveは、レスポンスの内容をファイルに保存するだけでなく、HTTPResponseオブジェクトも返します。このオブジェクトから、レスポンスの情報を取得することができます。例えば、getheaderメソッドでレスポンスヘッダーの値を取得したり、getcodeメソッドでステータスコードを取得したりできます。
response = urllib.request.urlretrieve(url, filename)
print(response[0]) # ファイルのパス
print(response[1]) # HTTPResponseオブジェクト
print(response[1].getheader("Content-Type")) # レスポンスヘッダーの値
print(response[1].getcode()) # ステータスコード
urlretrieveには、第三引数や第四引数などもあります。第三引数には、ダウンロードの進捗状況を表示するための関数を指定することができます。この関数は、4つの引数（ブロック番号、ブロックサイズ、合計サイズ、URL）を受け取ります。第四引数には、リクエストヘッダーを指定することができます。リクエストヘッダーとは、Webサーバーに送信する追加情報のことです。例えば、User-AgentやAcceptなどのヘッダーがあります。
まとめ
Pythonのurllib.requestモジュールには、urlopenとurlretrieveという2つの関数があります。urlopenは、URLを指定してWebサーバーにリクエストを送り、レスポンスを受け取る関数です。urlretrieveは、URLを指定してWebサーバーにリクエストを送り、レスポンスの内容をファイルに保存する関数です。これらの関数を使うことで、Web APIを利用することができます。