Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
3
Help us understand the problem. What is going on with this article?
@lumijpharuka

スクレイピングで最低価格を取得するには?

More than 1 year has passed since last update.

12月に入り、暖かい日もありつつ確実に冬に近付いています。
スキーやスノボなどウィンタースポーツをされる方にとっては交通費の次に宿泊費は大きな出費のひとつです。
空室情報や価格を比較できるサイトは数多ありますが、サイトから表示されるデータは実は選別されていることをご存知ですか?

snowboardpic.jpg

これはクローキングと言われていて、ターゲットサイトがユーザーエージェントや IPアドレスにより実際の人が使っているブラウザなのか検索エンジンのロボットかを判別し、それぞれに別々のソースを参照させたりする行為の事です。

これを回避して、空室状況や正しい価格のデータを収集するにはプロキシが効果的です。
プロキシを利用して固定IPでIP分散を行うと、ターゲットサイトからはロボットではなく、
本物の人間がアクセスしているように見せかけることが可能となります。

3
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
lumijpharuka
Luminatiはイスラエルのプロキシ企業で、業界最大手です。データセンターIP、プライベートIP、モバイルIPのすべてのIPを提供しています。Shell、Node.js、Java、C#、VB、PHP、Python、Ruby、PerlでAPI連携可能です。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
3
Help us understand the problem. What is going on with this article?