3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

[解決済み] Python mechanizeに詳しい方に質問です。

Last updated at Posted at 2013-12-23

Python mechanizeを使って、JTBのサイトからツアー商品の情報を自動収集したいと思っています。

例えば、

下記のリンクにPCのブラウザ上から飛ぶと、

羽田出発、目的地ハワイのツアー商品が

読み込み中と出た後、ブラウザ上で表示されますが、

下記のコードを使って、スクレイピングすると、

br = mechanize.Browser()$
br.addheaders = [('User-agent', 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 2_0 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5A345 Safari/525.20')]
br.open('http://ovspkg.jtb.co.jp/pkg/toursearch/search_result.aspx?deptplacecd=HND&destareacd=HWI')
print br.response().resd()

読み込みという状態でのHTMLは取得できませんが、

その後の読み込み後のリンクなどを取得できません。

どうにか、読み込み後のHTMLを取得したいのですが、

良い方法を知っている方はいらっしゃいませんでしょうか?

よろしくお願いします。

3
2
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?