.NETのHttpClientでメモリに優しく、でかいファイルをダウンロードする

HttpClient使って、なーんも考えずにコード書いて、
でかいファイル(1GBとか、2GBとか、それ以上とか)をダウンロードしようとすると、
メモリ消費ひどかったり、例外出たりするので、その対策メモです。

※ 例示コードは、C#になってます。
※ 接続先とかファイルパスとか、読みやすさ重視で、あえてハードコードで例示しています。

1. なーんも考えなかったコード

private static readonly HttpClient httpClient = new HttpClient();

private async Task DownloadAsync()
{
    using (var request  = new HttpRequestMessage(HttpMethod.Get, new Uri("https://127.0.0.1:8443/test.dat")))
    using (var response = await httpClient.SendAsync(request))
    {
        if (response.StatusCode == HttpStatusCode.OK)
        {
            using (var content    = response.Content)
            using (var stream     = await content.ReadAsStreamAsync())
            using (var fileStream = new FileStream(".\\test.dat", FileMode.Create, FileAccess.Write, FileShare.None))
            {
                stream.CopyTo(fileStream);
            }
        }
    }
}

単純に、HttpRequestMessage作って、HttpClient.SendAsync(request)してるだけです。
HttpRequestMessageを使わずに、HttpClient.GetAsync(Uri)とか使っても同様です。

成功したときには、
レスポンスのストリームと、ファイルのストリームを作って、
Stream.CopyTo(Stream)で、ファイルに書き込んでいます。
(Stream.CopyToAsync(Stream)も存在しますが、
この場合は、どっちみちファイル読み込みまで待っているので、使うメリットは、ほぼないと思います。)

2. どうなるか考えたり、実測してみる

特になにも指定しない場合、
await HttpClient.SendAsync(request)とかawait HttpClient.GetAsync(Uri)とかは、
HTTPのヘッダーとBodyを全部読み取ってから結果を返します。
(実際には、Task絡みなので、上だと微妙な表現ですが、その辺は適当に汲み取ってもらえればと。)

例えば、2GB近いファイルをダウンロードしようとすると、
HttpClientの内部処理で、2GB近いメモリが利用されます。
実際には、(HTTPのヘッダー) + (HTTPのBody) + α(その他いろいろ処理に必要分)の
メモリが消費されることになります。

プロファイラで見るとこんな感じです。
ダウンロード開始直後に、2GB近いメモリが消費されています。

なお、HttpClient.MaxResponseContentプロパティ(デフォルトで2GB)を超えるサイズのファイルを読み込もうとした場合、
HttpClientの内部処理にて、HTTPレスポンスのContent-Lengthヘッダーを処理した時点で、
System.Net.Http.HttpRequestExceptionが発生します。
また、上記のプロパティのサイズを超えない場合でも、内部処理で扱うバッファの制限上、
System.OutOfMemoryExceptionが発生する場合があります。

3. 解決策と実測

対策は単純で、
『HttpClientがHTTPのヘッダーとBodyを全部読み取ってから結果を返す』
という部分の動作を変えるだけです。
オプション指定で行けます。

HttpClient.SendAsync(request)とかHttpClient.GetAsync(Uri)などには、
HttpCompletionOptionを指定できるオーバーロードがあります。

HttpCompletionOption.ResponseContentReadだと、
『HttpClientがHTTPのヘッダーとBodyを全部読み取ってから結果を返す』
になります。

HttpCompletionOption.ResponseHeadersReadだと、
『HttpClientがHTTPのヘッダーを読み取った時点で結果を返す』
になります。

でかいファイルをダウンロードする目的では、
HttpCompletionOption.ResponseHeadersReadが都合がよさそうです。

こんな感じのコードになります。
最初のコードとの違いは、1か所のみで、
var response = await httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead))
のように、HttpCompletionOption.ResponseHeadersReadを指定するように変更しただけです。

private static readonly HttpClient httpClient = new HttpClient();

private async Task DownloadAsync()
{
    using (var request  = new HttpRequestMessage(HttpMethod.Get, new Uri("https://127.0.0.1:8443/test.dat")))
    using (var response = await httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead)))
    {
        if (response.StatusCode == HttpStatusCode.OK)
        {
            using (var content    = response.Content)
            using (var stream     = await content.ReadAsStreamAsync())
            using (var fileStream = new FileStream(".\\test.dat", FileMode.Create, FileAccess.Write, FileShare.None))
            {
                stream.CopyTo(fileStream);
            }
        }
    }
}

プロファイラで見るとこんな感じです。
最初のコードを実行した場合は、2GB近いメモリが消費されていましたが、
対策版では、15MB程度になっています。

実際には、このうち、HttpClientとかファイルのダウンロード関連の処理で必要なメモリは、数MB程度だと思います。
Stream.CopyTo(Stream)内部で使うバッファもデフォルトでは、80KB程度です。
バッファのサイズを大きく設定すると、その分、消費メモリも大きくなります。

また、対策版の場合は、
HttpClient.MaxResponseContentプロパティを超えるサイズのファイルもダウンロード可能です。