0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

Go 言語を学ぶAdvent Calendar 2023

Day 15

Goでスクレイピングするのって...

Posted at

Goのスクレイピングとの相性

Goはスクレイピングと相性が良い側面と良くない側面があると思います。

良い側面

並行処理がとても得意な言語ですので、大量にHTTPリクエストを送る必要がある場合などでとても約に立つでしょう。しかし、単一ドメインに限られた時間内で大量のリクエストを送る行為は、DOS攻撃そのものですので、
意外とこういったユースケースは無いのかもしれません。

良くない側面

相性が良くない側面としては、言語として堅すぎるということです。
スクレイピングにおいてはある程度のゆるさも許容すべきだと思います。
自らの都合とは関係なく、取得先の都合で構造が変わるので、都度堅を定義するのは骨が折れます。
必要な値のnilチェックをするぐらいで十分な気がしますし、そうなるとPythonではなく、Goを使う理由が思いつかないのです...

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?