う え き ぷ に き あ く ん 笑 Advent Calendar 2021 15日目です
環境
macOS Catalina 10.15.7
Python 3.9.7
この記事について
本記事では、スクレイピングを今すぐしたいけどよくわからない！とりあえずコピペで動くものを使いたい！！！
みたいな方に向けたものです。
また、本記事での"スクレイピング"は"Webスクレイピング"を表します。
スクレイピングについて
そもそもスクレイピングとは、特定の情報を取得することを目的としてWebページを自動的に巡回することです。
本記事では、Python3を用いて実装していきます。
実装
本記事内では、モジュールとしてPython標準のurllib.requestモジュールを使用します。
以下、ページ内容の取得の実装部分になります。
from urllib import request
URL = "https://www.google.com/"
res = request.urlopen(URL)
content = res.read()
res.close()
html = content.decode()
1行目でurllib.requestを読み込みます。
4, 5行目で指定したURLのページのHTMLをバイト列として取得します。
6行目で通信を終了し、7行目でバイト列として取得したHTMLを文字列にデコードしています。
以下、本記事内では、
def urlopen(URL):
from urllib import request
res = request.urlopen(URL)
content = res.read()
res.close()
html = content.decode()
return html
として実装されているものとしています。
次に、取得したHTMLから特定のデータを取得する部分の実装です。
URL = "https://www.google.com/"
html = urlopen(URL)
def element_get(HTML, TAG):
HTML += ">" # データの取得がしやすいよう、末尾に>を追加
tag_start = "<"+TAG+">"
tag_end = "</"+TAG+">"
ret = []
splited_html = html.split(tag_end)
for ind,element in enumerate(splited_html):
if ind+1 == len(splited_html):
continue
ret.append(element.split(tag_start)[-1])
return ret
流れとしては、HTMLタグを引数から作成し、
<tag>
</tag>
その後、タグの終了で分割を行い、その結果に対してタグの始まりで分割をすることで要素の取得を行います。
唐突な終わり
ここまで書いたのですが、特にぼくはスクレイピングでしたいことがないため、これ以上は書けません。有意義なプログラムを作成することはとても難しいですね...
最終的なプログラムは以下の通りになります。ぜひ有効活用してみてくださいね！（お願いしますほんとに）
def urlopen(URL):
from urllib import request
res = request.urlopen(URL)
content = res.read()
res.close()
html = content.decode()
return html
def element_get(HTML, ELEMENT):
HTML += ">"
ele_start = "<"+ELEMENT+">"
ele_end = "</"+ELEMENT+">"
ret = []
splited_html = html.split(ele_end)
for ind,ele in enumerate(splited_html):
if ind+1 == len(splited_html):
continue
ret.append(ele.split(ele_start)[-1])
return ret
明日の記事はうえきさんらしいので、ぜひぜひ〜