モチベーション

api叩く時、いちいちループ処理のなかで叩くと時間がかかる。どうせならhttpリクエストを一気にやって時間を短縮したい

Typhoeusの紹介

rubyでhttpリクエストの並列化を調べて見た結果、typhoeusのgemが具合が良さそうである。Rubygem.orgでも1000万ダウンロードを超えてるし、まだメンテもされてそう。

Typhoeusとは

libcurlのラッパーgem。そもそもlibcurlとはクライアントサイドのurl転送ライブラリであり、よく使うcurlコマンドはこのlibcurlをベースにして動く。つまりruby標準のNet::httpとは別に、curlコマンド的な物を実現するものと認識しておけばOK?ちなみにtypoeusとはティポーエウス(ティポーン)とはギリシャ神話に出てくる神(怪物)らしい。

コードの例

Rubyの並列HttpリクエストGem Typhoeusを使ってみる

使い方の日本語訳

導入

Gemfile

gem 'typhoeus'

簡単な例

1つのリクエストのみ

Typhoeus.get("www.example.com", followlocation: true)

並列リクエスト

hydra = Typhoeus::Hydra.new
10.times.map{ hydra.queue(Typhoeus::Request.new("www.example.com", followlocation: true)) }
hydra.run

文法

typhoeusの基本的なインターフェースは3つのクラスで構成される。Request,Response,Hydraである。 RequestはHTTPリクエストのオブジェクトを、ResponseはHTTPレスポンスを扱うクラスである。HydraはHTTP接続を並列しておこなうクラスである。

request = Typhoeus::Request.new(
  "www.example.com",
  method: :post,
  body: "this is a request body",
  params: { field1: "a field" },
  headers: { Accept: "text/html" }
)

最初の引数はurlで、次の一連の引数はオプションである。オプションは必要なときに書くと良い。ちなみにデフォルトではmethodはgetである。

もしURLパラメーターを送りたい時は、:paramsハッシュが使える。しかしもしx-www-form-urlencodedパラメーター経由でリクエスを送りたいときは:bodyハッシュを代わりに使うこと。:paramsはURLパラメータのためにあり、:bodyはリクエストボディのためにある。

プロキシをとおしてリクエストを送る
オプションのリストにプロキシのurlを追加する。

options = {proxy: 'http://myproxy.org'}
req = Typhoeus::Request.new(url, options)

もしプロキシが認証を要求する場合、proxyuserpwdオプションキーを加える。

options = {proxy: 'http://proxyurl.com', proxyuserpwd: 'user:password'}
req = Typhoeus::Request.new(url, options)

このときusernameとpsswordはコロンで別れていることに注意。

クエリーをそれ自身かhydraを使って実装することもできる。

request.run
#=> <Typhoeus::Response ... >

hydra = Typhoeus::Hydra.hydra
hydra.queue(request)
hydra.run```

リクエストオブジェクトはリクエストがrunした後にセットされる。

```ruby
response = request.response
response.code
response.total_time
response.headers
response.body

単純なリクエストをおくる

typhoeusはシングルリクエストのためにいくつかの便利なメソッドがある。

Typhoeus.get("www.example.com")
Typhoeus.head("www.example.com")
Typhoeus.put("www.example.com/posts/1", body: "whoo, a body")
Typhoeus.patch("www.example.com/posts/1", body: "a new body")
Typhoeus.post("www.example.com/posts", body: { title: "test post", content: "this is my test"})
Typhoeus.delete("www.example.com/posts/1")
Typhoeus.options("www.example.com")

putでbodyにパラメタを書いて送る

postを使う時はcontent-typeなどは自動的に'application/x-www-form-urlencoded'にセットされる。これはbodyを使うか使わないかにかかわらず、put,patch,headなどの他のメソッドには当てはまらない。postのような結果を得るために、content-typeを以下のように示さなければならない。

Typhoeus.put("www.example.com/posts/1",
        headers: {'Content-Type'=> "application/x-www-form-urlencoded"},
        body: {title:"test post updated title", content: "this is my updated content"}
    )

エラーを扱う

リクエストが成功したかどうか確認するためにtyphoeusにはエラーを扱うメソッドがある。コールバックはリクエストの後に実行される。リクエストをrunする前にコールバックの内容を実装することを忘れないように。


request = Typhoeus::Request.new("www.example.com", followlocation: true)

request.on_complete do |response|
  if response.success?
    # hell yeah
  elsif response.timed_out?
    # aw hell no
    log("got a time out")
  elsif response.code == 0
    # Could not get an http response, something's wrong.
    log(response.return_message)
  else
    # Received a non-successful http response.
    log("HTTP request failed: " + response.code.to_s)
  end
end

request.run

これらは並列処理のブロックの中でも同様に動く。

アップロードを扱う

ファイルはpostリクエストでサーバーにアップロードできる。typhoeusはファイル名をそのままでアップロードし、content typeをセットするためにMime::Typesを使う。


Typhoeus.post(
  "http://localhost:3000/posts",
  body: {
    title: "test post",
    content: "this is my test",
    file: File.open("thesis.txt","r")
  }
)

レスポンスボディをストリーミングする

レスポンスをストリームすることも可能である。レスポンスが巨大であることが予想される場合、リクエストにon_bodyをセットすること。typhoeusはレスポンスの塊(チャンク)をコールバックに渡す。もしon_bodyをセットした時、typhoeusは完全なレスポンスを保持しない。

downloaded_file = File.open 'huge.iso', 'wb'
request = Typhoeus::Request.new("www.example.com/huge.iso")
request.on_headers do |response|
  if response.code != 200
    raise "Request failed"
  end
end
request.on_body do |chunk|
  downloaded_file.write(chunk)
end
request.on_complete do |response|
  downloaded_file.close
  # Note that response.body is ""
end
request.run

もしストリームを途中でやめたい時、:abortシンボルをon_blockから返すことができる。例えば

request.on_body do |chunk|
  buffer << chunk
  :abort if buffer.size > 1024 * 1024
end

これで適切にストリームは途中で止まり、もしreturnやthrowやraiseで邪魔されると起きるかもしれないメモリリークを防ぐことができる。

並列リクエストを送る

大抵はhydraを使ってリクエストをおくるべきである。

hydra = Typhoeus::Hydra.hydra

first_request = Typhoeus::Request.new("http://example.com/posts/1")
first_request.on_complete do |response|
  third_url = response.body
  third_request = Typhoeus::Request.new(third_url)
  hydra.queue third_request
end
second_request = Typhoeus::Request.new("http://example.com/posts/2")

hydra.queue first_request
hydra.queue second_request
hydra.run # this is a blocking call that returns once all requests are complete

第1と第2のリクエストは作成され、キューされる。もしhydraがrunした時、第1と第2のリクエストを並列処理される。第1のリクエストが終わったら、第3のリクエストが作成されキューされる。この例では第1のリクエストの結果を元にしている。第3のリクエストがキューされた瞬間、hydraはそれを実行し始める。しばらくして第2のリクエストがrunを続ける(第1のリクエストの前に終わる可能性もある)。第3のリクエストが完了すると、hydra.runからreturnされる。

キューが実行された後に戻ってくるレスポンスの配列を取得する方法

hydra = Typhoeus::Hydra.new
requests = 10.times.map {
  request = Typhoeus::Request.new("www.example.com", followlocation: true)
  hydra.queue(request)
  request
}
hydra.run

responses = requests.map { |request|
  request.response.body
}

最大の並列処理数を設定する

Hydra will also handle how many requests you can make in parallel. Things will get flakey if you try to make too many requests at the same time. The built in limit is 200. When more requests than that are queued up, hydra will save them for later and start the requests as others are finished. You can raise or lower the concurrency limit through the Hydra constructor.

Typhoeus::Hydra.new(max_concurrency: 20)

メモ化する

Hydraは1回のrunコールの中でリクエストをメモ化する。メモ化はこの記事を参照。この時memoizationを有効化しなければならない。こうして1つのリクエストが発行される。しかし、両方のon_conpleteハンドラーが呼ばれる。

Typhoeus::Config.memoize = true

hydra = Typhoeus::Hydra.new(max_concurrency: 1)
2.times do
  hydra.queue Typhoeus::Request.new("www.example.com")
end
hydra.run

下では2つのリクエストとなる。

Typhoeus::Config.memoize = false

hydra = Typhoeus::Hydra.new(max_concurrency: 1)
2.times do
  hydra.queue Typhoeus::Request.new("www.example.com")
end
hydra.run

キャッシュ

Typhoeusはキャッシュをサポートするビルドを含む。例えば次の例では、キャッシュ化されたオブジェクトがリクエストオブジェクトのon_completeハンドラーに渡されている。

class Cache
  def initialize
    @memory = {}
  end

  def get(request)
    @memory[request]
  end

  def set(request, response)
    @memory[request] = response
  end
end

Typhoeus::Config.cache = Cache.new

Typhoeus.get("www.example.com").cached?
#=> false
Typhoeus.get("www.example.com").cached?
#=> true

Dalliを使う場合、

dalli = Dalli::Client.new(...)
Typhoeus::Config.cache = Typhoeus::Cache::Dalli.new(dalli)

Railsを使う場合,

Typhoeus::Config.cache = Typhoeus::Cache::Rails.new

Redisを使う場合

redis = Redis.new(...)
Typhoeus::Config.cache = Typhoeus::Cache::Redis.new(redis)

3つの全てのアダプターはdefault_ttlというオプションの引数を持つ。これはキャッシュのTTLセットを持たないリクエストのために、キャッシュ化されたレスポンスのデフォルトのTTLをセットする。

直接スタブする

hydraによって特定のurlにスタブアウトできたり、テスト中にリモートサーバーにヒットするのを回避できたりする。

response = Typhoeus::Response.new(code: 200, body: "{'name' : 'paul'}")
Typhoeus.stub('www.example.com').and_return(response)

Typhoeus.get("www.example.com") == response
#=> true

キューされたリクエストはスタブを当てることができる。正規表現でマッチしたurlも特定することもできる。

response = Typhoeus::Response.new(code: 200, body: "{'name' : 'paul'}")
Typhoeus.stub(/example/).and_return(response)

Typhoeus.get("www.example.com") == response
#=> true

順次結果を返すスタブの配列を到底することもできる。

Typhoeus.stub('www.example.com').and_return([response1, response2])

Typhoeus.get('www.example.com') == response1 #=> true
Typhoeus.get('www.example.com') == response2 #=> true

テストをする時、自身が期待するものをはっきりさせると、スタブがテストの間持続する。以下はspec_helper.rbファイルに自動的に行うために含めることができる。

RSpec.configure do |config|
  config.before :each do
    Typhoeus::Expectation.clear
  end
end

タイムアウトの設定

HTTPタイムアウトしてもexceptionは起きない。リクエストがタイムアウトしたかどうかは次のメソッドで確認できる。

Typhoeus.get("www.example.com", timeout: 1).timed_out?

タイムアウトレスポンスはsuccess?メソッドもfalseを返す。

タイムアウトには2種類ある。timeoutとconnecttimeoutである。timeoutはリクエストが何秒でおわるのかの時間制限である。connecttimeoutは単に接続段階が何秒で終わるのかの時間制限である.

さらに2つの細かなオプションtiemout_msとconnecttimeout_msがある。これらのオプションはミリ秒の精度を提供するが、いつも使えるとは限らない。(リナックス上でnosignalがtrueになっていない時のインスタンスなど)

TODO 後で訳す
When you pass a floating point timeout (or connecttimeout) Typhoeus will set timeout_ms for you if it has not been defined. The actual timeout values passed to curl will always be rounded up.

DNS timeouts of less than one second are not supported unless curl is compiled with an asynchronous resolver.

The default timeout is 0 (zero) which means curl never times out during transfer. The default connecttimeout is 300 seconds. A connecttimeout of 0 will also result in the default connecttimeout of 300 seconds.

リダイレクトを許可する

Typhoeus.get("www.example.com", followlocation: true)

Basic認証

Typhoeus::Request.get("www.example.com", userpwd: "user:password")

圧縮

Typhoeus.get("www.example.com", accept_encoding: "gzip")

上記はヘッダーに直接ハッシュを記述したときと異なる動作をする。

Typhoeus.get("www.example.com", headers: {"Accept-Encoding" => "gzip"})

ヘッダーに直接書くと--comressedフラグがlibcurlコマンドに含まれない。だから、libcurlはレスポンスを解凍しない。もし--compressedフラグを自動的に加えたいのなら、:accept-encodingをオプションとして加えること。

Cookies

Typhoeus::Request.get("www.example.com", cookiefile: "/path/to/file", cookiejar: "/path/to/file")

cookiefileはクッキーが読まれるファイルでcookiejarは受け取ったクッキーが書き込まれるファイル。もしクッキーを有効にしたいのなら、2つのファイルパスを同じにしなければならない。

他のcurlのオプション

ここを参照

SSL

デバッグのアウトプット

デフォルトのユーザーエージェント

specsをrunする

bundle install
bundle exec rake

Semantic Versioning

This project conforms to sermver.

LICENSE

(The MIT License)

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

Rubyでhttpリクエストを並列処理