今回はとても恣意的なエントリーです。
目的は「Koaで開発しようぜ！」ってことなので。

概要

単純にちょっと待ち時間の発生するようなスクリプトを実行してみて、それによってかかる時間やメモリコストを実測しようという企画です。

比較対象

今回はKoaで構築するサーバとPHPer御用達のWEBサーバを比較対象としました。

Koaで作った非同期処理サーバ
Apacheを使ったオーソドックスなphpアプリ
Nginx + PHP-FPMを使ったサーバ

テストはローカルの仮想サーバで行い、各テストの後は一旦再起動しています。

方法

Macにはapache bench があるので、

$ ab -n 1000 -c 100 http://192.168.33.10/

こんな感じで計測し、動作サーバー上で

$ free -s 1

1秒毎にメモリ消費量を計測します。

apache benchでの計測パラメータは、-nと-cのパラメータを10倍変えています(リクエスト数 = 10 ☓ 同時接続数)。
計測数は, 10, 20, 100(, 1000)です。

処理内容

処理内容は、単純に「1.5秒待ってからhello worldを返す」という単純なものです。
詳しいコードは以下のとおりです

app.js

'use strict'

const koa = require('koa');
const app = koa();

app.use(function* (){
  const x = yield new Promise(res => setTimeout(() => res(1), 1500));
  console.log(x);
  this.body = 'hello world';
});

app.listen(3000);

index.php

<?php

usleep(1500000);

echo 'hello world';

結果

Koa

同時接続数	平均レスポンス時間(ms)	メモリ使用量(KB)
10	1610.973	496
20	1613.035	1240
100	1606.868	9168
1000	1888.211	70060

メモリ使用量は少々ゆらぎがあると思います。
レスポンス時間にほとんど1600msで収まっているところが特徴でしょう。
100msを接続にかけていると考えれば、実質各リクエストに処理の順番待が存在しなかったと考えていいと思います。
流石に1000同時接続だとレスポンスに影響が出ていますが、それでも300ms程度なので、それほど気にならないかもしれません。
メモリも70M程度で済んでいるようです。

apache

同時接続数	平均レスポンス時間(ms)	メモリ使用量(KB)
10	1613.714	22244
20	1669.724	19812
100	2017.839	125952

予想はできていましたが、やはりメモリの使用量が多いです。
また、同時接続数10での平均レスポンスは1.6sec程度ですが、実データの5%は2.5秒以上のレスポンス時間となっており、ある程度の遅延が発生しているようです
同様に、20接続だと、一部のレスポンスが2.5〜3.0secほどになっていました。
同時接続数100となると、幾つかのレスポンスは6秒を超えるようになります。それでも半分以上は正常にレスポンスを返せていました。
また、これ以上は接続数限界にも近づくようで、300接続も試せませんでした。

nginx + php-fpm

同時接続数	平均レスポンス時間(ms)	メモリ使用量(KB)
10	1605.511	10976
20	1728.408	9312
100	3302.610	25436
300	9571.414	20000

同時接続数20の時点で、レスポンスに少々影響が出ています。
実際の計測では、10%程度、大きく性能の落ちたリクエストがあるようです。
同時接続数が100の時、メモリについてはapacheに対して大きなアドバンテージを持っていますが、一方でレスポンスタイムに大きな性能低下が見られます。これはphp-fpmの子プロセスの個数による影響かと思います。
同時接続数300ではレスポンスが大幅に悪化し、リクエストがいくつか失敗していました。

考察

Koaというより、node.jsがそもそも大量同時接続に対応するように作られているだけあって、I/Oなどの非同期処理が処理時間の大部分を占めるアプリケーションであれば、想定通り大量アクセスをさばくことができます。
一方、apacheはプロセス作成によるメモリの消費量が大きいため、メモリについての不安があり、100接続程度でもレスポンスへの影響も出ていました。しかし、同時接続数100なんてのは相当多い数なので、案外堅牢なのかもしれません。
Nginx + php-fpm はちゃんとチューニングをやらないと性能が出ないように思います。php-fpm は予め最大の小プロセス数を決めているようで、おかげでメモリの消費量が制限できているように思えますし、一方で、同時処理数が少なくなって、結果的にNginxでの待ち時間が劇的に増えているように思います。

まとめ

Koaを使う動機として、長い処理待ちがあり得るアプリに対する大量同時接続に強いという性質を確かめてみました。
また、Nginxでサーバ作るときはチューニング頑張らないといけないんだなぁと思いました。