みなさんはどのような方法で情報収集をされていますか？
昔の情報収集方法は書籍や新聞の内容をコピー機で複写するか、手打ち入力でデータを作成するかしか手段がありませんでした。とにかく相当な労力を費やした時代です。
ネットが普及した現代社会において、ネットによる情報収集では “コピペ” で楽にデータを得ることができるようになりました。しかし、テキストであればコピペが簡単ですが、コピーした情報をエクセルにそのままペーストすると、余計なリンク情報や画像も一緒に貼られてしまいます。それを整理するのがまた手間です。
そんな時は「スクレイピングツール」が役に立つんですね。このツールを使えば、コードを書く必要がなく、簡単にWebサイトから情報を自動で取得できるので、アッという間に解決することが可能です。業務上、大幅な工数削減に役立つなど重宝します。
今回は、おすすめのスクレイピングツールを3つご紹介します。
Octoparse
Octoparseはwindows用のWEBスクレイピングツールです。PCにインストールして無料で使えます。有料オプションもあり、クラウド抽出やスゲージュル設定など機能が追加されます。ただ無料版でも十分な機能を持っています。
Octoparseの最大の特徴は、ポイントとクリックでデータの抽出範囲を指定できるので、視覚的に理解しやすく、直感的に使えることです。抽出したデータは、エクセル、データベース、JSON、クラウド、CSVなどに保存することができます。
最近日本語でのサービスもスタートですので、とても便利ですね。
Import. Io
Import. IoはURLを入力するだけでデータの抽出ができるツールです。クラドベースのサービスであるため、ソフトウェアなどのダウンロードやインストールは一切必要ありません。ページのURLを入力すると、自動でデータ箇所を判断して情報を集めてくれます。もちろんWindows、Mac、Linuxで使えるスクレイピング用のアプリも用意されています。スクレイピングの終了後、Csv/Json形式でデータをダウンロードできます。さらに、毎週、毎日、毎時のクロール作業をスケジュールできます。現在、無料版は利用できなくなっているようで、最低利用金額は$299からです。
Scraper
ScraperはChrome拡張機能で、インストールが簡単で、複雑な操作・設定手順もありません。Google Chromeを使っている人であれば誰でも簡単にスクレイピングができます。取得したデータをそのまま Googleスプレッドシートに保存することができ、GoogleAppsや Googleカレンダーなど Google連携機能が使える点が魅力です。拡張機能の一つなので、無料で利用できます。
通常、WEBスクレピングには専門のプログラミング知識を必要とします。このようなスクレイピングツールがあれば、簡単にWebサイトから情報をスクレイピングできます。しかも大幅な時間短縮ができるようになりました。
活用するなら、マーケティング、価格調査、在庫調査、データ分析など様々な用途がありますよね。皆さんもぜひ利用してみてください。