Pythonでサイト一覧のステータスを取得する

お仕事でサイト内の全ページのステータスコード（リダイレクトを含む）を出す作業があったので勉強がてらPythonを使って出せるようにしてみた

事前準備

• pythonのインストール
• requestsライブラリのインストール
• ステータスコードを調べたいurl一覧が記載されてるtxtファイル

txtファイルの例

https://www.google.com/
https://www.google.com/404/

実際かいたもの

import requests

urllist = open('list.txt')
urls = urllist.read().splitlines()

for line in urls:
  res = requests.get(line ,allow_redirects=False)
  url = line
  status =  res.status_code
  print(url + " " + str(status))

内容の説明

最初にrequestsのインポート

import requests

URL一覧を記載したtxtファイルを読み込んで改行で区切って変数にする

urllist = open('list.txt')
urls = urllist.read().splitlines()

forを使ってurlのステータスを確認して、urlとセットでステータスをコードを表示させるように
※requests.getにallow_redirects=Falseのオプションを設定しないとリダイレクト先のステータスを読み込んでしまうので注意

for line in urls:
  url = line
  res = requests.get(line ,allow_redirects=False)
  status =  res.status_code
  print(url + " " + str(status))