bashでwebスクレイピング
スクリプト
scraping.sh
#! /bin/bash
SCRAPING_URL="http://"
SEARCH_WORD=""
# webページを取得
curl --url ${SCRAPING_URL} -X GET |
# 取得したhtmlを対象ワードでgrep
grep $SEARCH_WORD |
# 正規表現にマッチする行だけを抽出(ここでは<td align="right"で始まる行だけを抽出)
sed -ne '/<td align="right"/,/<¥/td>/p' |
# htmlタグを削除
sed 's/<[^>]*>//g'
使いかた
SCRAPING_URL
に対象URL
SEARCH_WORD
に検索したいワードを指定