11
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Mojoliciousで、Selenium + PhantomJS を使った簡単なスクレイピングツールを作る

Posted at

スクレイピングツールの作成だと内容が特定しづらいので、タイトルを変えてみました。

今回は、ローカル環境で作成したアプリをMojoliciousで置き換えてWWW環境(CentOS)へアップロードしています。DBはMySQLを使用しています。

ソースはGitHub↓
https://github.com/YasuakiOmokawa/MojoKaiseki01
に挙げてありますが、簡単な動きは以下のとおりです。

1.ブラウザ上から、開始ボタンをクリックして開始
2.スクレイプツールの呼び出し
3.DBからログイン情報を取得
3.Test::TCPでphantomJSを起動
4.データがほしいwebページへログインし、htmlソースを取得
5.htmlソースをブラウザへ表示して終了

いろいろ苦労しましたが、なんとか動く所までできました。

ですが、動きが遅いのは相変わらずのまま。プラットフォームの違いはあまり関係なかったようです。

11
10
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
11
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?