LoginSignup
1
3

More than 3 years have passed since last update.

Webスクレイピングツール5選 | Webクローラーを簡単評価(2)

Posted at

Webスクレイピングツールは、Webサイトで必要な情報を取得するように開発されています。今回はこの五つのWebスクレイピングツールを紹介します。

1.Getleft

Getleftは Webサイトグラバーです。 URLを指定すると、サイト全体、または少なくともユーザーが設定したオプションに一致するサイトの一部をダウンロードしようとします。
特徴:
Webサイトをまるごとダウンロードできる
ダウンロードしたサイトのリンクをハードディスクから直接閲覧できる
中断された場合、またはタイムアウトした場合は、ダウンロードを再開できる
特定の種類のファイルをダウンロードしないようにフィルターする
6 Getleft.png

2.Diggernaut

Diggernautは、Webからのデータスクレイピング、抽出、および収集サービスを提供します。 ユーザーに代わってウェブスクレイピングを行い、ウェブサイトからデータを抽出して正規化し、データをクラウドに保存できます。 小売店のサイトから製品価格やその他の関連情報、レビュー、評価、さまざまな通信社のWebサイトのニュースやソースの統計データを抽出するのに役立ちます。
特徴:
APIサービスを提供する
無料のスクレーパーリポジトリに既製のソリューションを提供する
IOサービスを提供し、他のプラットフォームにデータの入出力を自動化できる
7 Diggernaut.png

3.Websundew

WebSundewは、完全なWebデータ抽出ソフトウェアおよびサービスです。 高精度、高速でWebデータをスクレイピングします。Eコマース、不動産、ITなど様々なWebサイトから情を引き出すことができるWindows専用のWebスクレイピングツールです。
特徴:
複雑さに応じた価格設定ポリシー
代行でデータ抽出サービスを提供する
Eclipseをベースに構築されている。
8 Websundew.png

4.Easy Web Extract

Easy Web ExtractとはWebページからコンテンツ(テキスト、URL、画像、ファイル)を抽出し、画面を数回クリックするだけで結果を複数の形式に変換する使いやすいWebスクレイピングツールです。プログラミングは不要です。Windows向けのスクレイピングソフトウェアです。
特徴:
複数のスレッドでデータをスクレイピングする
いつでもWebスクレイピングを実行するようにスケジュールできる
商品画像ギャラリーをスクレイピングするのに役立つ
(部分文字列の選択、置換、分割など)などのすぐに使用できるスクリプトを提供する
9 Easy Web Extract.png

5.Screen Scraper

ユーザーはプログラミングなどを全くする必要がなく、指定のサイトと納品データ・フォーマットを選ぶだけでスクレイピングを実行してくれます。
特徴:
メソッドとAPIを使用して外部アプリケーションを呼び出すことができる
クロスプラットフォームであり、どこでも展開できる
.NET、Java、Ruby、PHP、またはその他の言語からスクリーンスクレイパーを呼び出す
10 Screen Scraper.png

1
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
3