Help us understand the problem. What is going on with this article?

[備忘録]Pythonで特定のclassの内容をスクレイピングする

概要

PythonのBeautifulSoup4で特定のページの特定のclassの内容を取得する方法のメモ。

インストール

必要なライブラリをインストール

$ pip install beautifulsoup4

スクレイピング

Qiitaの自分のプロフィール欄を題材に試してみます。

キャプチャ.PNG

自分の記事一覧から各記事のタイトルを取得します。

ソースコードはこちら。

必要に応じて対象サイトのURL、要素とclass名を書き換えてください。

scraping.py
#モジュールのインポート
import urllib.request
from bs4 import BeautifulSoup

#対象のサイトURL
url = "https://qiita.com/sksk_go"

#URLリソースを開く
res = urllib.request.urlopen(url)

#インスタンスの作成
soup = BeautifulSoup(res, 'html.parser')

#必要な要素とclass名
name = soup.find_all("div", class_="ItemLink__title")

#取得したタイトル情報を出力
ret = []
for t in name:
    ret.append(t.text)

print(ret) # ['item1', 'item2', ~]

実行結果

$ python scraping.py
['AIに自分の顔を判定させたら失敗した話(番外編)', '○○に似てると言われ困ったので、AIに判定させてみた', 'obnizで夏っぽいことしてみた', 'LINEで減塩量を可視化しようとした話', 'IoTを活用して、ただいまと言ったらおかえりが返ってくる仕組みを
作る', '悩める恋心を助けるためのLINE Botを作ってみた']

成功してますね。

業務でもたまに使うのでメモ代わりに。

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away