はじめに

CWL では仕様が公開されているため、自分で CWL 準拠のワークフローエンジン(e.g.,「僕の考えた最強のワークフローエンジン」)を作成することも可能です。
またGithub のリポジトリで準拠度を計るためのテスト集 (以下では conformance test と呼びます) も公開されているため、自作したエンジンの準拠度を調べることも簡単に行なえます。

この記事ではワークフローエンジンの準拠度を確認できる conformance test の実行方法を解説します。

注意！

この記事は CWL に対応したワークフローエンジンを実装する人向けの記事です！
CWL を書いて利用する一般の方は、お茶でも飲みながら軽い気持ちで読んでいただければ幸いです。

conformance test の実行方法

事前準備

$ git clone git@github.com:common-workflow-language/common-workflow-language.git
$ cd common-workflow-language
$ pip install cwltest

どう使うの

困ったときは --help で使用方法が出てきます。

$ ./run_test.sh --help
run_test.sh: Run common workflow tool description language conformance tests.

Syntax:
 ...

とにかく全部テストしたい

$ ./run_test.sh

デフォルトでは cwl-runner (通常はリファレンス実装である cwltool) の準拠度テストを、v1.0/conformance_test_v1.0.yaml に書かれたテストを用いて行います。

出力は以下の形式になります。

$ ./run_test.sh
...
153 tests passed, 13 failures, 29 unsupported features

1 tool tests failed

この例は、195個のテスト中153個はパス、13個は失敗、29個のテストは処理系が未サポートの機能を含むためスキップされたことを示しています。

特定のテストだけ実行したい

$ ./run_test.sh -n=1

上記では、一番最初のテストのみ実行します。-n には 1-3 や 2,4,6 などの記法で、複数のテストの実行を指定することもできます。

自作のワークフローエンジンのテストをしたい

$ ./run_test.sh RUNNER=/path/to/your-own-engine

RUNNER 変数で指定したワークフローエンジンの準拠度テストを行います。run_test.sh は RUNNER に --quiet オプションと入力の CWL ファイル、パラメータが書かれた YAML (or JSON) ファイルを与えて実行します。

テストの実行が遅い

$ ./run_test.sh -j=32

-j オプションを使うことで、並列にテストを行うことができます。
しかし、各テスト時のエラー表示も混ざって出てきてしまうため、標準出力で確認する場合には使いにくいです。--junit-xml=foobar.xml を使うことで、Junit 形式の出力を v1.0/foorbar.xml に出力してくれるため、こちらと併用するのが良さそうです。

エンジン実装上の注意

未サポートの機能に対しては 33 をリターンコードとして返すことで、run_test.sh がそれを認識して unsupported features に振り分けてくれます¹。

v1.1 から、CWL の処理系のツール定義が提供されています。v1.0 でもインターフェースは同じなので、この CWL ファイルで動くように処理系を作成するといいでしょう。 ↩

Conformance test について