今回、社内目標でPython学習を目標として設定し、学習した。
スクレイピングの技術が気になったので、まとめることにします。
#スクレイピングとは
スクレイピングとは、webサイトから任意の情報を抽出する技術のことを指します。
スクレイピングすることで、web上の情報を自動で収集します。
しかし、web上で公開されている情報であればなんでもデータベースに格納できるということではありません。
下記のような技術が備わっております。
・データベースに格納するためには、形式を変更させる
・広告などの不要な情報を排除し、必要な情報を取り出す為のサイトの構造解析
・ログインが必要なページにアクセスする技術