bashでwebスクレイピング

スクリプト

scraping.sh

#! /bin/bash

SCRAPING_URL="http://"
SEARCH_WORD=""

# webページを取得
curl  --url ${SCRAPING_URL} -X GET |
  # 取得したhtmlを対象ワードでgrep
  grep $SEARCH_WORD |
  # 正規表現にマッチする行だけを抽出(ここでは<td align="right"で始まる行だけを抽出)
  sed -ne '/<td align="right"/,/<¥/td>/p' |
  # htmlタグを削除
  sed 's/<[^>]*>//g'

使いかた

SCRAPING_URLに対象URL
SEARCH_WORDに検索したいワードを指定