概要
Visual StudioでPythonを試してみる で開発環境を作りました。
今回は、もう少しPythonを学習します。
ネタは、Webスクレイピングです。
以下のライブラリを使います。
Requests 2.31.0
Beautiful Soup 4.12.3
ライブラリのインストール
パッケージのインストール手順
1. ソリューションエクスプローラー → Python 環境 → すべてのPython 環境を表示
2. Python 環境 → パッケージ(PyPl)
3. 検索フィールドにライブラリ名を入力
→ [次のコマンドを実行する: pip install ライブラリ名]を押下する
4. 「今すぐ昇格」を選択
5. 完了
Requestsライブラリ
検索フィールドに「Requests」を入力してパッケージのインストール手順 を実施する
Beautiful Soupライブラリ
検索フィールドに「BeautifulSoup4」を入力してパッケージのインストール手順 を実施する
HTMLデータの取得
Yahooのリアルタイム検索を取得してみる
PythonApplication1.py
import requests
url = "https://search.yahoo.co.jp/realtime"
response = requests.get(url)
print(response.text)
実行してみる
HTMLデータの解析と抽出
Yahooのリアルタイム検索のキーワードを抽出してみる
PythonApplication1.py
import requests
from bs4 import BeautifulSoup
url = "https://search.yahoo.co.jp/realtime"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
for item in soup.select('article > h1'):
print(item.text)
実行してみる
実際のページ
