【自作アプリ：メルカリスクレイピングツール】Web上の商品情報を取得してExcel出力！

開発したツールについて

この度、「Web版メルカリの情報を自動収集して、Excel形式で出力するパッケージツール」を開発しました！

ツール構成

①クライアントアプリと、②サーバー処理、に分かれた構成となっています。

• ①クライアント側：exe形式です。自動でChromeを操作して自動的に商品情報を収集します。
• ②サーバー側：ユーザー認証をおこないます。

技術的な説明

• クライアント側は、PythonのSeleniumを使っています。
• サーバー側は、Pythonでユーザー認証用のWebAPIを立てています。

クライアント側のアプリを起動後、まずはユーザー認証用のWebAPIを呼び出します。
WebAPI側は、ユーザーIDや日時情報を読み取り、そのユーザーが本サービスを利用できるかどうかを判定して結果を返します。

クライアント側は、その認証結果を受け取ります。
認証結果がOKであればツールがそのまま動作し、NGであればツールが中断する仕組みになっています。

技術的な工夫点

• SeleniumでChromeを自動操作すると、ものすごくマシンパワーをとります。これを全てサーバー側で処理すると、マシンパワーが足りない点がネックでした…。
• そこで、Seleniumの動作はクライアントPC（＝ユーザーPC）に任せる形式にしました！
• サーバー側の処理は主に認証APIに特化することで、サーバーの負荷を軽減した状態で、不正利用の防止などをおこなうようにしています。
• この構成は汎用的に使えるため、今後も色々なサービスに展開できるのがメリットかと思っています！

取得できるデータ

以下のような情報を表形式で取得します！

1. 商品URL
2. 販売状態
3. 商品名
4. 価格
5. 商品の説明
6. カテゴリー
7. 商品の状態
8. 配送料の負担
9. 配送の方法
10. 発送元の地域
11. 発送までの日数
12. 出品日時
13. 更新日時
14. 出品者名
15. 出品者の高評価数
16. 出品者の低評価数
17. 商品画像URL

より詳しい情報

より詳しい情報は下記に記載しています！
少しでも興味があれば、ぜひお気軽にご連絡ください。

最後まで読んでいただき、ありがとうございました。