WEBサイトのPDFファイルを一括でダウンロードしたい

import requests
from bs4 import BeautifulSoup
import os
import time
from urllib.parse import urljoin, urlparse

def download_pdfs_from_site(base_url, download_dir="pdfs"):
    """指定されたサイトからPDFファイルを一括ダウンロード"""
    
    # ダウンロードディレクトリを作成
    os.makedirs(download_dir, exist_ok=True)
    
    # セッションを作成（Cookieを保持）
    session = requests.Session()
    session.headers.update({
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    })
    
    # 大学別のURLパターンを定義
    universities = {
        '東京大学': 'tokyo',
        '京都大学': 'kyoto', 
        '大阪大学': 'osaka',
        '東京工業大学': 'tokyo-tech',
        '東北大学': 'tohoku',
        '名古屋大学': 'nagoya'
    }
    
    for uni_name, uni_code in universities.items():
        print(f"{uni_name}の過去問をダウンロード中...")
        
        # 各大学のページをクロール
        uni_url = f"{base_url}/{uni_code}"
        try:
            response = session.get(uni_url)
            soup = BeautifulSoup(response.content, 'html.parser')
            
            # PDFリンクを検索
            pdf_links = soup.find_all('a', href=lambda x: x and x.endswith('.pdf'))
            
            for link in pdf_links:
                pdf_url = urljoin(base_url, link['href'])
                filename = os.path.basename(urlparse(pdf_url).path)
                
                # ファイル名に大学名を追加
                filename = f"{uni_name}_{filename}"
                
                # PDFをダウンロード
                try:
                    pdf_response = session.get(pdf_url)
                    with open(os.path.join(download_dir, filename), 'wb') as f:
                        f.write(pdf_response.content)
                    print(f"  ダウンロード完了: {filename}")
                    
                    # サーバーに負荷をかけないよう少し待機
                    time.sleep(1)
                    
                except Exception as e:
                    print(f"  ダウンロードエラー: {filename} - {e}")
                    
        except Exception as e:
            print(f"{uni_name}のページ取得エラー: {e}")

# 使用例
if __name__ == "__main__":
    base_url = "https://www.toshin-kakomon.com"
    download_pdfs_from_site(base_url)

# wgetを使用した例
wget -r -l1 -H -t1 -nd -N -np -A.pdf -erobots=off https://www.toshin-kakomon.com/