PHPは長きにわたり同期的、すなわち、あらゆる処理を上から順に実行していくというスタイルを取ってきました。
しかしたとえば、複数のURLからデータを取ってきて結果をまとめたいといった場合、時間のかかるHTTPリクエストは同時に投げたいですよね。
この用途にはGuzzleというライブラリが存在し、これを使えば同時にリクエストを投げられます。
しかし、ではHTTPアクセスとDBアクセスを同時にやりたい場合は？
時間のかかる計算を裏でやりたい場合は？
などと考え始めると、こういった個別のライブラリでは対処しきれません。
ということで汎用的な非同期処理をPHPで書けるようにするRFCが提出されました。
PHP RFC: Fibers
Introduction
人類史上ほぼ全ての期間において、人々はPHPを同期的なコードとしてのみ書いてきました。
同期的に実行されるコードのみが存在し、そしてそれを同期的に呼び出します。
同期関数は、関数が結果を返すまで処理が止まります。
最近では、非同期のPHPコードを書くことを可能にするプロジェクトが複数存在します。
非同期関数は、コールバックを受け取ったり、Promiseのように後で値が確定するプレースホルダを返すなどして、後で結果が得られたときにコードを実行します。
これにより、最終結果を待たずに処理を続行することができるようになりました。
プロジェクトの例としてはamphp、ReactPHP、Guzzleなどが挙げられます。
このRFCが対処しようとしている課題は説明するのが難しいのですが、言うならばてめえの血はなに色だ？問題とでも言いましょうか。
リンク先の記事で説明されている問題を簡単にまとめると、
・非同期関数は、関数を呼ぶ仕組み自体を変化させてしまう。
・非同期関数は非同期関数を呼び出すことができない。同期関数を呼び出すことはできる。
・非同期関数を呼び出すためには、コールスタック全体が非同期でなければならない。
非同期処理にPromiseやawait、yieldを使い慣れている人にとっては、こう考えることができます。
『コールスタックのどこか一カ所でもPromiseを返そうとすると、そのPromiseがいつ解決されるかわからないから、コールスタック全体がPromiseを返さなければならなくなる』
このRFCでは、コールスタック全体を汚染することなく割り込み可能な非同期処理を導入することで、同期間数と非同期関数を区別なく取り扱うことを目指します。
これは次のように実現されます。
・PHPでFiberをサポートします。
・Fiberクラス、および対応するリフレクションクラスReflectionFiberを追加します。
・エラーのためのクラスFiberErrorとFiberExitを追加します。
Fiberは、PSR-7やDoctine ORMといった既存のインターフェイス上に、透過的にノンブロッキングIOを実装することを可能にします。
これはPromiseのようなプレースホルダオブジェクトを使用しないからです。
Fibers
Fiberを使用すると、割り込み可能なフルスタックの関数を作成することができます。
これはコルーチンやグリーンスレッドなどとも呼ばれています。
Fiberは実行スタック全体を停止させるため、関数を呼び出す側は、呼び出し方を変更する必要はありません。
Fiber::suspend()を使うとコールスタックを任意に中断することができます。
Fiber::suspend()の呼び出しは、関数の深い入れ子の奥にあるかもしれないし、あるいはどこにも無いかもしれません。
スタックを持たないジェネレータと異なり、Fiberはそれ自身のコールスタックを保持しているため、深い入れ子の関数呼び出し中であろうと一時停止することができます。
Generatorインスタンスを返さなければならないジェネレータと異なり、Fiberを使う関数は戻り値の型を変更する必要はありません。
Fiberはarray_mapやIteratorのforeach、PHPのVM内からのコールなど、任意の関数呼び出しで一時停止することができます。
一時停止したFiberを再開するには、Fiber->resume()で続けるか、もしくはFiber->throw()で例外をスローします。、
値はFiber::suspend()でreturnされるか、もしくは例外がスローされます。
Proposal
Fiber
FiberはPHPコアで定義され、シグネチャは以下のようになります。
final class Fiber
{
/**
* @param callable $callback コールバック関数
*/
public function __construct(callable $callback) {}
/**
* 実行を開始する
*
* @param mixed ...$args コールバック関数に渡す引数
*
* @return mixed 一時停止した場合はsuspension point。終了したらnull
*
* @throw FiberError 既に実行されている場合。
* @throw Throwable その他
*/
public function start(mixed ...$args): mixed {}
/**
* 中断しているFiberを再開する。
*
* @param mixed $value
*
* @return mixed 一時停止した場合は次のsuspension point。終了したらnull
*
* @throw FiberError まだ実行されていない、現在一時停止されていない、既に終了している。
* @throw Throwable その他
*/
public function resume(mixed $value = null): mixed {}
/**
* 例外を投げる
*
* @param Throwable $exception
*
* @return mixed 一時停止した場合は次のsuspension point。終了したらnull
*
* @throw FiberError まだ実行されていない、現在一時停止されていない、既に終了している。
* @throw Throwable その他
*/
public function throw(Throwable $exception): mixed {}
/**
* @return bool 既に実行開始されていればtrue
*/
public function isStarted(): bool {}
/**
* @return bool 一時停止中であればtrue
*/
public function isSuspended(): bool {}
/**
* @return bool 実行中であればtrue
*/
public function isRunning(): bool {}
/**
* @return bool 実行が既に終わっていればtrue
*/
public function isTerminated(): bool {}
/**
* @return mixed コールバック関数の返り値を返す。
*
* @throws FiberError まだ終了していない
*/
public function getReturn(): mixed {}
/**
* @return self|null 現在実行中のFiberインスタンスを返す。
*/
public static function this(): ?self {}
/**
* 実行を一時停止する。メインスレッドからは呼べない。
*
* @param mixed resume()かthrow()で返した値。
*
* @return mixed resume()に渡す値。
*
* @throws FiberError メインスレッドから呼んだなど。
* @throws Throwable その他
*/
public static function suspend(mixed $value = null): mixed {}
}
任意のコールバック関数をnew Fiber(callable $callback)と渡すことでFiberオブジェクトを作成します。
コールバック関数はFiber::suspend()を必ずしも呼び出す必要はありません。
入れ子のスタックの奥の方にあるかもしれませんし、あるいは一度も呼ばれないかもしれません。
作成したFiberオブジェクトは、Fiber->start(mixed ...$args)と引数を渡して起動します。
Fiber::suspend()は、現在のFiberの実行を一時停止し、処理をFiber->start()・Fiber->resume()・Fiber->throw()いずれかの呼び出し元に戻します。
Generatorにおけるyieldに似たようなものと考えることができます。
一時停止されたFiberは、以下2つの方法で再開できます。
-
Fiber->resume()に値を渡して再開。 -
Fiber->throw()に値を渡して例外。
処理が完了したFiberからは、Fiber->getReturn()でコールバック関数の返り値を取得することができます。
実行が完了していなかったり、例外が起きたときにはFiberErrorがスローされます。
Fiber::this()は現在実行中のFiberインスタンスを返します。
これによってFiberの参照を、イベントループのコールバックや一時停止中のFiberインスタンスの配列など、別の場所に持っていくことができます。
ReflectionFiber
ReflectionFiberは実行中のFiberを検査するリフレクションです。
実行前でも終了済でも、任意のFiberオブジェクトからReflectionFiberを作成可能です。
ReflectionFiberは、ReflectionGeneratorとよく似ています。
final class ReflectionFiber
{
/**
* @param Fiber Fiberオブジェクト
*/
public function __construct(Fiber $fiber) {}
/**
* @return Fiber Fiberオブジェクト
*/
public function getFiber(): Fiber {}
/**
* @return string 実行中のFiberのファイル名
*/
public function getExecutingFile(): string {}
/**
* @return int 実行中のFiberの行数
*/
public function getExecutingLine(): int {}
/**
* @param int $options debug_backtrace()の引数と同じ
*
* @return array Fiberのバックトレース。debug_backtrace()やReflectionGenerator::getTrace()と似てる。
*/
public function getTrace(int $options = DEBUG_BACKTRACE_PROVIDE_OBJECT): array {}
/**
* @return bool 開始済であればtrue
*/
public function isStarted(): bool {}
/**
* @return bool 一時停止中であればtrue
*/
public function isSuspended(): bool {}
/**
* @return bool 実行中であればtrue
*/
public function isRunning(): bool {}
/**
* @return bool 終了していればであればtrue
*/
public function isTerminated(): bool {}
}
Unfinished Fibers
Fiberは、通常のオブジェクト同様、オブジェクトへの参照がなくなると破棄されます。
その際、実行が完了していないFiberは、実行完了していないGenerator同様破棄されます。
破棄されたFiberはFiber::suspend()で再度呼び出すことはできません。
Fiber Stacks
各Fiberには、ヒープ上に個別のC stackとVM stackが割り当てられます。
C stackは、利用可能な場合はmmapを使用して割り当てます。
即ち、ほとんどのプラットフォームでは物理メモリはオンデマンドで消費されるということです。
各Fiberスタックは、デフォルトでは最大8Mまで割り当てられ、ini設定fiber.stack_sizeで変更可能です。
このメモリはC stackに割り当てられるものであり、PHPの使うメモリとは無関係であることに注意してください。
VM stackはGeneratorと同じ方法でメモリとCPUが割り当てられます。
VM stackは動的に変更できるので、初期状態では4Kだけ使用します。
Backward Incompatible Changes
グローバル名前空間にFiber・FiberError・FiberExit・ReflectionFiberクラスが追加されます。
他に後方互換性のない変更はありません。
Future Scope
現在の実装は、PHP拡張モジュール用の内部Fiber APIを提供していません。
このRFCは、ユーザスペースのFiber APIに注力しています。
内部Fiber APIについては、他の拡張モジュール開発者と協力して追加していく予定です。
SwooleなどPHP拡張モジュール開発者からのフィードバックを受け、拡張モジュールがFiberを制御できるようにする予定です。
拡張モジュールは独自にFiberのような実装を持つこともできますが、内部APIが提供されれば、PHPコアのFiber実装を使うことができるようになります。
Proposed PHP Version(s)
PHP8.1。
Examples
単純な例
以下は、fiberという文字列で一時停止するFiberの単純な例です。
この文字列は$fiber->start()から返されます。
そしてresumeに渡した値がFiber::suspend()に送られます。
$fiber = new Fiber(function (): void {
$value = Fiber::suspend('fiber');
echo "レジュームした。$value: ", $value, "\n";
});
$value = $fiber->start();
echo "一時停止した。$value: ", $value, "\n";
$fiber->resume('test');
// 実行結果
一時停止した。$value: fiber
レジュームした。$value: test
イベントループ
次は非常に単純なイベントループの例です。
データを受信するためにソケットをポーリングし、利用可能になったときにコールバックを呼び出します。
このイベントループを使うことで、データがソケット上で利用可能になったときにだけFiberを再開できるようになり、読み込みのブロッキングを回避できます。
class EventLoop
{
private string $nextId = 'a';
private array $deferCallbacks = [];
private array $read = [];
private array $streamCallbacks = [];
public function run(): void
{
while (!empty($this->deferCallbacks) || !empty($this->read)) {
$defers = $this->deferCallbacks;
$this->deferCallbacks = [];
foreach ($defers as $id => $defer) {
$defer();
}
$this->select($this->read);
}
}
private function select(array $read): void
{
$timeout = empty($this->deferCallbacks) ? null : 0;
if (!stream_select($read, $write, $except, $timeout, $timeout)) {
return;
}
foreach ($read as $id => $resource) {
$callback = $this->streamCallbacks[$id];
unset($this->read[$id], $this->streamCallbacks[$id]);
$callback($resource);
}
}
public function defer(callable $callback): void
{
$id = $this->nextId++;
$this->deferCallbacks[$id] = $callback;
}
public function read($resource, callable $callback): void
{
$id = $this->nextId++;
$this->read[$id] = $resource;
$this->streamCallbacks[$id] = $callback;
}
}
[$read, $write] = stream_socket_pair(
stripos(PHP_OS, 'win') === 0 ? STREAM_PF_INET : STREAM_PF_UNIX,
STREAM_SOCK_STREAM,
STREAM_IPPROTO_IP
);
// ストリームをノンブロッキングモードにする
stream_set_blocking($read, false);
stream_set_blocking($write, false);
$loop = new EventLoop;
// ストリームが読み込み可能になったら、さらに別のFiberでデータ読み込みを起動
$fiber = new Fiber(function () use ($loop, $read): void {
echo "Waiting for data...\n";
$fiber = Fiber::this();
$loop->read($read, fn() => $fiber->resume());
Fiber::suspend();
$data = fread($read, 8192);
echo "Received data: ", $data, "\n";
});
// Fiberを実行。
$fiber->start();
// コールバックでデータ書き込み
$loop->defer(fn() => fwrite($write, "Hello, world!"));
// イベントループ実行
$loop->run();
このスクリプトの実行結果は以下のようになります。
Waiting for data...
Received data: Hello, world!
以下の図は、メインスレッドとFiber間の実行フローを表しています。
実行フローは、Fiber::suspend()とFiber->resume()を呼び出すたびに行ったり来たりします。
amphp
以下は非同期フレームワークamphp v3を利用して、非同期コードを同期コードのように記述する例です。
amphp v3はイベントループを用いて、、Fiber APIの上に非同期処理のための様々な関数やPromise、コードを実行するためのコルーチンを構築します。
amphp v3のユーザはFiber APIを直接使用する必要はありません。
必要に応じてフレームワークがFiberへの登録や一時停止などの処理を行います。
従って、他の類似のフレームワークでは作成・使用方法が多少異なる場合があります。
defer(callable $callback, mixed ...$args)関数は、現在のFiberが終了したもしくは一時停止したときに実行される次のFiberを登録します。
delay(int $milliseconds)は、現在のFiberを指定したミリ秒中断します。
use function Amp\defer;
use function Amp\delay;
// deferは新しいFiberを作り、実行中のFiberが終了したら自動的に次を実行する
defer(function (): void {
delay(1500);
var_dump(1);
});
defer(function (): void {
delay(1000);
var_dump(2);
});
defer(function (): void {
delay(2000);
var_dump(3);
});
// メインスレッドを一時停止
delay(500);
var_dump(4);
amphp その2
メインスレッドが一時停止している間、イベントループがどのように実行されるかを示すため、ふたたびamphp v3を用いた例を出します。
await(Promise $promise)は、引数のPromseが解決されるまで実行が停止します。
そしてasync(callable $callback, mixed ...$args)は、Promiseオブジェクトを返します。
use function Amp\async;
use function Amp\await;
use function Amp\defer;
use function Amp\delay;
// 返り値はintであり、PromiseやGeneratorと異なりコルーチンとして実行されることに注意
function asyncTask(int $id): int {
// ここでは何もしてない。非同期IOとかのかわり。
delay(1000); // 1秒停止するだけ
return $id;
}
$running = true;
defer(function () use (&$running): void {
// ほかのFiberでブロックされないことを示したいだけ
while ($running) {
delay(100);
echo ".\n";
}
});
// asyncTask()は1秒後にintを返す
$result = asyncTask(1);
var_dump($result);
// 2つのFiberを同時に実行する。await()は全部終わるまでFiberを中断する。
$result = await([ // 1秒でおわる
async(fn() => asyncTask(2)), // async()はFiberを作成してPromiseを返す
async(fn() => asyncTask(3)),
]);
var_dump($result); // 2秒後に実行される
$result = asyncTask(4); // 1秒かかる
var_dump($result);
// array_map()は2秒かかる。これは呼び出しが同時に行われないということを表す
$result = array_map(fn(int $value) => asyncTask($value), [5, 6]);
var_dump($result);
$running = false; // 上のdeferを止める
ここawaitのvar_dump($result);にExecuted after 2 secondsって書いてあるんだけど、これ1 secondじゃないの？
読み間違い？
Generator
FiberはPHP VMの呼び出し中にも一時停止することができるので、非同期イテレータやGeneratorを作成することもできます。
以下の例ではamphp v3を使い、Generator内でFiberを一時停止させています。
Generatorを反復処理する際、Generatorの返り値を待っている間foreachループは一時停止します。
use Amp\Delayed;
use function Amp\await;
function generator(): Generator {
yield await(new Delayed(500, 1));
yield await(new Delayed(1500, 2));
yield await(new Delayed(1000, 3));
yield await(new Delayed(2000, 4));
yield 5;
yield 6;
yield 7;
yield await(new Delayed(2000, 8));
yield 9;
yield await(new Delayed(1000, 10));
}
// 通常どおりGeneratorを反復しますが、必要に応じてループを一時停止します
foreach (generator() as $value) {
printf("Generator yielded %d\n", $value);
}
// 引数アンパックも同じ
var_dump(...generator());
ReactPHP
最後はReactPHPを使って、await関数を定義する例です。
use React\EventLoop\LoopInterface;
use React\Promise\PromiseInterface;
function await(PromiseInterface $promise, LoopInterface $loop): mixed
{
$fiber = Fiber::this();
if ($fiber === null) {
throw new Error('Promises can only be awaited within a fiber');
}
$promise->done(
fn(mixed $value) => $loop->futureTick(fn() => $fiber->resume($value)),
fn(Throwable $reason) => $loop->futureTick(fn() => $fiber->throw($reason))
);
return Fiber::suspend();
}
ReactPHPとFiberを統合するデモがtrowski/react-fiberで実装されています。
FAQ
Who is the target audience for this feature?
この機能のターゲットは誰？
Fiberは、ほとんどのユーザは直接使用することのない高度な機能です。
主にイベントループや非同期APIを提供するライブラリ・フレームワーク作者をターゲットとしています。
Fiberは、アプリケーションのコールスタックを変更したり、大きなコード変更を加えることなく、任意の時点で非同期コードを既存の同期コードにシームレスに導入することを可能にします。
Fiberは、アプリケーションレベルで直接使用することを想定していません。
Fiberはローレベルのフロー制御APIであり、アプリケーションコードで使用する高度な抽象化を提供します。
同じような事例のひとつとして、FFIは最近PHPに追加された機能の一部ですが、ほとんどのユーザは直接使用することはありません。
しかし、ユーザは使用しているライブラリを通して大きな恩恵を受けることができます。
What about performance?
パフォーマンスはどう？
Fiber間の切り替えは軽量で、プラットフォームにもよりますが、凡そ20箇所のポインタを変更するだけです。
PHP VM上での実行コンテキストの切り替えはGeneratorと似ていて、こちらも数個のポインタをスワップするだけです。
Fiberはひとつのスレッド内に存在するため、Fiberの切り替えはプロセスやスレッドの切り替えよりも高パフォーマンスです。
What platforms are supported?
サポートしているプラットフォームは？
x86、x86_64、ARM、PPC、MIPS、Windows(Fiber APIを提供しているためアーキテクチャを問わない)など大抵の最新CPU、そしてucontext対応の古いPosixをサポートしています。
How are execution stacks swapped?
実行スタックのスワップ方法は？
各FiberはC stackとVM stackのポインタを保持しています。
Fiberに入ると現在のC stackがスワップされます。
VM stackはメモリにバックアップされていて、Fiberが終了すると元に戻ります。
debug_backtrace()や例外のバックトレースは、現在のFiberのみトレースします。
Fiberの中に入ったFiberのトレースは行いません。
How does blocking code affect fibers
ブロッキングコードがFiberに与える影響。
ブロックするコード(file_get_contents()など)は、他のFiberがあっても引き続きプロセス全体をブロックします。
パフォーマンスと同時実行性の両方を実現するには、非同期IO、イベントループ、そしてFiberを使用するようにコードを記述する必要があります。
非同期IOのライブラリは既にいくつか存在していますが、それらはFiberを利用することで同期コードと統合することができます。
Fiberは非同期IOを透過的に使用できるので、ブロッキング実装を非ブロッキング実装に置き換えることがでます。
コールスタック全体に影響を与えることはありません。
将来的に内部イベントループが実装された際は、sleep()などの内部関数をデフォルトでノンブロッキングにすることも可能です。
How do various fibers access the same memory?
複数のFiberが同じメモリにアクセスするのは何故？
全てのFiberはひとつのスレッド内に存在します。
一度に実行できるFiberはひとつだけなので、メモリを同時に変更できるスレッドとは異なり、複数のFiberが同時にメモリアクセスしたり変更することはできません。
Fiberが中断・再開されると、同じメモリにアクセスする複数のFiberがインターリーブされます。
そのため、実行中のFiberが、中断されている別のFiberが私用しているメモリを変更する可能性があります。
この問題に対応する方法としては、mutexes・semaphores・memory parcels・channelsといった手段が存在します。
これらは、FiberAPIを使ってユーザベースで実装できるため、このRFCにおいては提供しません。
Why add this to PHP core?
なぜPHPコアに導入する？
この機能をPHPコアに直接追加することで、PHPを提供している全てのホストがこの機能を使うことができるようになります。
多くの場合、ユーザはホストがどのエクステンションを提供しているのかを知らなかったり、ユーザ側で任意にエクステンションを追加できなかったり、追加したくなかったりします。
FiberがPHPコアに含まれていれば、あらゆるライブラリ作者が移植性を気にすることなくFiberを利用することができます。
Why not add an event loop and async/await API to core?
イベントループとasync/awaitも追加しない？
このRFCは、フルスタックのコルーチンやグリーンスレッドをユーザコードで提供することを可能にする最低限の機能のみを提案しています。
独自のイベントループやPromise、その他非同期APIを提供しているフレームワークが幾つか存在しますが、それらのAPI設計は多様で、仕様が異なります。
それら特定のニーズのために設計されている非同期APIは、PHPコアに実装されたイベントループなどではカバーできないかもしれません。
最低限の機能をコアで提供し、ユーザ側で任意にコンポーネントを実装できるようにするのが最も良い、というのがこのRFCの主張です。
多くのフレームワークがひとつのイベントループAPIに集約されたり、PHPコアにイベントループを搭載したいという要求が出てきた場合には、次のRFCでそれらを導入することになるかもしれません。
このRFCは、今後PHPコアにasync/awaitやイベントループを追加することを妨げるものではありません。
How does this proposal differ from prior Fiber proposals?
かつてのFiber RFCとのちがいは？
かつて出されたFiberのRFCは、内部関数(array_map, preg_replace_callbackなど)やopcacheハンドラ(foreach, yieldなど)内でのコンテキスト切り替えをサポートしていませんでした。
そのため、Cコードから呼び出されるユーザコードや、Xdebugのようにzend_execute_exをオーバーライドするエクステンションを使うとクラッシュする可能性がありました。
Vote
投票期間は2021/03/08から2021/03/22です。
投票の2/3以上の賛成で受理されます。
2021/03/15時点では賛成38反対10の賛成多数であり、おそらく受理されます。
References
感想
残念ながら、ユーザが直接ばりばり並行処理を書けるようにする目的で導入されるものではなく、並行処理を書けるようにするライブラリを作れるようにするための機能です。
とはいえamphpが既にFiberに対応したバージョンを作ってしまうなど、導入の敷居も高くないようで、今後他のライブラリの対応も期待できるかもしれません。
また目的ではないとはいえ、べつに個人で導入することが禁止されているわけでもないので、何らかの並行処理する機能を作ってみるのも面白いかもしれませんね。
メーリングリストバトル
投票開始後、MLでtwoseeから長文のツッコミが入りました。
ソースコード上の無駄な呼び出しがある、他のC拡張からの割り込みを考慮していない、Windowsでboost-contextより性能の落ちるwin-fiberを使っている、状態取得メソッドがたくさんあるのにFiber::getStatus()が何故かない、Swooleと互換していない、などなど様々な指摘がなされています。
いきなりPHPコアに実用経験のない実験的機能をぶち込むのはどうなんだ、まずはSwooleのようにPECLでやるべきではないのか、SwooleはPDO、mysqli、phpredis、libcurlなど様々な機能をコルーチン化してきた実績がある、そしていつかPHP本体にマージされるのを待っている。
まあ概ね頷ける内容ではあるのですが、ただこれ実はちょっとだけ裏がありまして、この反論の主twoseeはSwooleの中の人で、そしてRFCの提出者Aaron Piotrowskiはamphpの中の人です。
SwooleもamphpもPHPの非同期ライブラリであり、その片側が出したRFCが通過したとなれば、Swoole側としては当然面白くないわけです。
次いでSwooleのファウンダーと名乗る人が登場。
Fiberはamphpにしか使えず、他のPHPプロジェクトには価値がないぞ。PECL行きが妥当。
PHP9あたりでGo言語ばりの非同期IDとCSPを導入してくれ。
この投稿に反応して今度はさらにReactPHPの中の人が登場。
おいィちょっと待てよSwooleにとってFiberは役立たずかもしれんがReactPHPにはめっちゃ有用なんだが？
なにしろこれでPSR-15がフルサポートできるってもんよ。
もちろんReactPHPもPHP用非同期ライブラリです。
と楽しい楽しいライブラリ間代理戦争が勃発しましたが、投票経過を見るにFiber側が勝利しそうではあります。