概要

Mercariの商品画像をスクレピングし、ファッションをカテゴリーごとに分類する深層学習モデルを作ります。
ただし、今回はメンズのトップスのみに限定させていただきます。

1.　スクレイピング

スクレイピングの流れは、
商品ごとに写真のURLをスクレイピング→URLから商品の画像をダウンロードというものです。

以下は商品画像のサンプルです。

画像のURLを確認すると
https://static.mercdn.net/item/detail/orig/photos/m97553311374_2.jpg?1718502543でした。

画像のURLはhttps://static.mercdn.net/item/detail/orig/photos/{商品のID}?1718502543という構造であることがわかったので商品IDを取得すればいいことがわかりました。

実際のサイトにて検証するとmerItemThumbnail fluid__a6f874a2のid部分にて商品idが格納されていました。

今回はこの部分をサイトからスクレイピングしていきます。

各カテゴリーごとに50ページスクレピングします。
1ページに120商品あるので、1カテゴリーごとに最大で6000枚の写真を取得できる計算になります。

以下がスクレピングした情報で作成されたデータフレームです。

カテゴリーごとに何枚写真があるかも集計してみました。

どのカテゴリーもだいたい6000枚あることがわかりました。

今回の記事は情報の集め方のみ取り扱いました。
次回は取得した画像を各カテゴリーごとに分析し、しっかり画像を取れているかや服の特徴等を調べようと思います。