スマホアプリのスクレイピング

Comments

1. 

   @takehiro02518

   Questioner

   more_horiz

   @github0013@github様
   情報共有ありがとうございます。ご紹介いただいたアプリは現在スクレイピング可能にアップデートされているのでしょうか？
   ご存じでしたらアドバイス頂けると幸いです。

2. 

   @github0013@github

   more_horiz

   ウェブスクレイピングではウェブ上の非構造化データの変換、一般的にはHTMLフォーマットからデータベースやスプレッドシートに格納・分析可能な構造化データへの変換 ...

   スマホのアプリをスマホから直接スクレイピングすることは出来ないと思うので、こういうproxyを使ってHTMLを見える形にして解析する方法は取れる、と思います。

   解析後、phthonからでもなんでも目的の相手サーバーへ正しく通信することでスクレイピングは出来ると思います。

3. 

   @takehiro02518

   Questioner

   more_horiz

   @github0013@github様
   ご丁寧に、かつ迅速に回答ありがとうございます。
   素人のため理解を確認させて頂きたいのですが、ご教授頂いた方法は、

   • 作業自体はPCで、
   • スクレイピング対象はスマホアプリ
     ということで合っていますでしょうか？

   お手数おかけします。アドバイス頂けると助かります。

4. 

   @github0013@github

   more_horiz

   1. スマホのアプリなら基本的にhttpにて通信をしているはず
   2. httpの通信の中身さえわかれば、同じ内容をpythonなりなんなりで対象サーバーに送信できる
   3. pythonなりなんなりに戻って来る内容をスクレイピングする

   最初のステップはアプリの仕様上スマホでしか出来ないと言うなら、スマホでやるわけですが、そのままでは通信している内容がわからないので、通信の中身を見るためにproxyを間に噛まして内容が見れるんじゃないの？って事です。

5. 

   @github0013@github

   more_horiz

   

   こうやって内容を見て、cookieとか注意して（このサイトはどうもtokenをそのまま投げてる？）

   

   postmanとかに貼って動くか見てみて、動くようなら同じようにpythonなりなんなりでスクレイピングすれば良い訳で...

6. 

   @takehiro02518

   Questioner

   more_horiz

   @github0013@github様
   ご丁寧にありがとうございます！トライしてみます。
   素人で環境構築に時間がかかりそうなため、また時間をおいて質問させて頂くかもしれません。ご対応頂けると嬉しいです。