はじめに
ScrapyCloudというscrapyというPythonスクレイピングライブラリのためのクラウドサービスがあるのを知ってはいましたが、使ったことがなかったので使ってみたらすごかったので紹介します。
何がすごいかというと、AIによるスクレイピングによってコードを一切書かずにスクレイピングができるという点です。
はじめ方
アカウント作成と同時にクレジットカード登録が必要になりますが、無料枠があるのでそれを超えない利用であれば料金はかからないようです。
使い方
アカウント登録を済ませた後、プロジェクトを作成し、Spiderを新規作成します。
そこで、Zyte's AI-Powered Spidersを選択します。
その後、スクレイピングしたいサイトのURLを入力するだけで、自動的にスクレイピングが開始されます。
csv, json, xmlなどの形式でデータをダウンロードすることができます。
実際にスクレイピングされたデータは以下の通りです。
データ化された後はPythonで煮るなり焼くなり好きなように使うことができます。
料金について
リクエストをするのにZyte APIが使われているようで、100件リクエストして、$0.72分使われていました。1リクエスト1円みたいな感じですね。
まとめ
ScrapyCloudは、AIによるスクレイピングによってコードを一切書かずにスクレイピングができるという点がすごいと思いました。
コードを1mmも書かずにスクレイピングができるのなら、支払う価値はあるかもしれません。