はじめに
TestLinkというテスト管理ツールがある。ひそかに1.9.20 まであがって 2.0.0 も開発中っぽい。
TestLink が何ができるかは別の記事にしたいと思うが、TestLinkで作ったテストケースでテスト実行して「成功」、「失敗」、「ブロック」の登録を手作業ではなく何とか自動化したい話
あまり記事が上がっていないが、以下のあたりの情報をもとにテスト実行の結果を登録できることまでを調査してみた。
https://qiita.com/bamchoh/items/430e07b084ffbd1c0b36
https://teratail.com/questions/51002
https://github.com/TestLinkOpenSourceTRMS/testlink-tests/tree/master/rest-api/v1/curl
まずは curl コマンドでプログラムなしでできることを確認した
準備
TestLinkへ認証するためには、APIキーが必要なため専用のユーザを用意してAPIキーを生成する
ほんとTestLinkのUIがわかりずらいのだが、画面上にある人マークを押したらユーザの変更が出てくるので、「APIインターフェース」の「新しいキーを生成」をクリックすると「個人APIアクセスキー」が出てくるのでメモっておく。
TestLinkを普通にインストールするとRestAPIのアクセスがデフォルトでアクセス可能になっていると思うので、TestLinkのサーバ側は特になにもしなくてもよい
TestLinkからの情報を取得
まずはTestLinkに登録した「テストプロジェクト」、「テスト計画」、「テストケース」の取得をしてみる
テストプロジェクトの取得
テストプロジェクト一覧の取得には以下のコマンドを実行する。
curl -i -H "PHP-AUTH-USER: ＜APIアクセスキー＞" -X GET http://localhost/lib/api/rest/v1/testprojects
値はJSONで返ってくるが1行になってしまう。
https://lab.syncer.jp/Tool/JSON-Viewer/
こう言った整形してくれるものを利用するをきれいにインデントしてくれるので使うと便利
部分的に抜粋するが、以下のように返ってくる。
id:1
notes:
color:
active:1
option_reqs:0
option_priority:0
option_automation:0
options:O:8:"stdClass":4:{s:19:"requirementsEnabled";i:1;s:19:"testPriorityEnabled";i:1;s:17:"automationEnabled";i:1;s:16:"inventoryEnabled";i:1;}
prefix:TESTLINK
tc_counter:2
is_public:1
issue_tracker_enabled:0
code_tracker_enabled:0
reqmgr_integration_enabled:0
api_key:＜APIキー＞
name:TestLink
effective_role:8
itname:null
ittype:null
rmsname:null
rmstype:null
opt:{
requirementsEnabled:1
testPriorityEnabled:1
automationEnabled:1
inventoryEnabled:1
}
個別のテストプロジェクトの情報を出したい場合は、一覧でとってきた情報にあるが、JSONにあるテストプロジェクトの情報の id または name を指定する。
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v1/testprojects/＜id＞
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v1/testprojects/＜name＞
例）
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v1/testprojects/1
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v1/testprojects/TestLink
テスト計画の一覧取得
テストプロジェクトに割り当てられているテスト計画の取得は以下のように実行する
指定したテスト計画の詳細を取得
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/＜テスト計画の id＞/testplans
テストプロジェクトの全テスト計画を取得
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/＜テストプロジェクト名＞/testplans
例）
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/1/testplans
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/TestLink/testplans
テストケースの取得
テストプロジェクトに割り当てられているテスト計画の取得は以下のように実行する
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/＜テスト計画の id＞/testcases
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/＜テスト計画の name＞/testcases
例）
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/1/testcases
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -X GET http://localhost/lib/api/rest/v2/testprojects/TestLink/testcases
テスト実行
一番、これがやりたかったことなのだが、この情報が全くないし本家の情報もさっぱりわからん。
まず本家にある以下のサンプルだが、何を意味しているのかさっぱり分からんかったのでいろいろ試してみたのをコメントで残しておく。
https://github.com/TestLinkOpenSourceTRMS/testlink-tests/blob/master/rest-api/v1/curl/json/createTestCaseExecution.json
ビルド番号の確認
ビルド番号がわからず、実行すると以下のエラーになってたので、どこでビルド番号を確認すればいいのか。。。
テストケースの JSON 見ても出てこないし。。。
と思っていたのだが。。。
何気なく「テスト実施」の地球マークみたいなリンクが出るものを押すと、なんと 「build_id」が出てきた。。。
わかるかい！！
{"status":" ko","message":"(buildID,testPlanID) couple is not valid","id":-1}
JSONの作成
cat createTestCaseExecution2-2.json
{
"testPlanID":74771, # テスト計画ID
"buildID":1, # テストケースのバージョン
"platformID":0, # プラットホームを設定していない場合は0でよい
"testCaseExternalID":"TESTLINK-1", # テストケース名
"notes":"This is an execution created via REST API", # 備考
"statusCode":"", # b: ブロック f：失敗 p:成功
"executionType":"2", # 手動：1 自動：2
"executionTimeStampISO":"2013-04-27 12:09:00" # テスト終了時間
}
コマンドの実行
上記のようなJSONデータを用意して以下のコマンドを実行するとよい
curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -H "Content-Type: application/json" -X POST --data "@./createTestCaseExecution2-2.json" http://localhost/lib/api/rest/v1/executions
ところで TestLink にはプラットホームを設定し割り当てている場合もあると思う。プラットホームが割り当たっていない場合は「0」でいいのだが、割り当てている場合、「platformID」を入れないといけないのだが、どうやってもでてこない！！
しょうがないので以下のようにして、platformID を確認できるように割り当てられているプラットホームを出力するようにした
diff -Nuar testlink/htdocs/lib/api/rest/v1/tlRestApi.class.php.orig testlink/htdocs/lib/api/rest/v1/tlRestApi.class.php
--- testlink/htdocs/lib/api/rest/v1/tlRestApi.class.php.orig 2020-07-08 04:26:26.614608965 +0000
+++ testlink/htdocs/lib/api/rest/v1/tlRestApi.class.php 2020-07-08 04:24:34.022745450 +0000
@@ -451,6 +451,8 @@
// Get Test plan platforms
$getOpt = array('outputFormat' => 'mapAccessByID' , 'addIfNull' => false);
$platformSet = $this->tplanMgr->getPlatforms($ex->testPlanID,$getOpt);
+ var_dump($platformSet);
+
if( !($hasPlatforms = !is_null($platformSet)) && $ex->platformID !=0)
{
これで実行すると以下のようになって、割り当てられたプラットホームの id, name, notes などなどが出てくる。
これを見て、どのプラットホームかを判断していく
# curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -H "Content-Type: application/json" -X POST --data "@./createTestCaseExecution2-2.json" http://localhost/lib/api/rest/v1/executions
HTTP/1.1 200 OK
Date: Wed, 08 Jul 2020 04:34:25 GMT
Server: Apache
X-Powered-By: PHP/7.3.18
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Pragma: no-cache
Set-Cookie: PHPSESSID=a0pguoelvomln9mau60ct9s535; expires=Thu, 09-Jul-2020 08:21:04 GMT; Max-Age=99999; path=/
X-Frame-Options: SAMEORIGIN
Vary: Cookie
Transfer-Encoding: chunked
Content-Type: application/json
array(1) {
[2]=>
array(5) {
["id"]=>
string(1) "2"
["name"]=>
string(9) "test12111"
["notes"]=>
string(0) ""
["enable_on_design"]=>
string(1) "0"
["enable_on_execution"]=>
string(1) "1"
}
}
{"status":" ko","message":"(platform,test plan) couple is not valid","id":-1}root@ip-172-31-23-187:/home/bitnami/testlink#
結局以下のような JSONを用意する
cat createTestCaseExecution2-2.json
{
"testPlanID":74771,
"buildID":1,
"platformID":2,
"testCaseExternalID":"TESTLINK-1",
"notes":"This is an execution created via REST API",
"statusCode":"p",
"executionType":"2",
"executionTimeStampISO":"2013-04-27 12:09:00"
}
そして同じように、curlコマンドを実行する
# curl -i -H "PHP-AUTH-USER: ＜APIキー＞" -H "Content-Type: application/json" -X POST --data "@./createTestCaseExecution2-2.json" http://localhost/lib/api/rest/v1/executions
HTTP/1.1 200 OK
Date: Wed, 08 Jul 2020 06:10:07 GMT
Server: Apache
X-Powered-By: PHP/7.3.18
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Pragma: no-cache
Set-Cookie: PHPSESSID=rt2r9gmc2v240usop8p85r00cm; expires=Thu, 09-Jul-2020 09:56:46 GMT; Max-Age=99999; path=/
X-Frame-Options: SAMEORIGIN
Vary: Cookie
Transfer-Encoding: chunked
Content-Type: application/json
array(1) {
[2]=>
array(5) {
["id"]=>
string(1) "2"
["name"]=>
string(9) "test12111"
["notes"]=>
string(0) ""
["enable_on_design"]=>
string(1) "0"
["enable_on_execution"]=>
string(1) "1"
}
}
{"status":"ok","message":"ok","id":11}
結果で status は OK となる。
TestLink 側も以下のようにテスト実行済みとなる。
おわりに
TestLink は結構使えるツールと思うのだが、あまり使われていないのだろうか
ほんとに情報がすくない。。。
本家にある情報、説明がかなりわかりずらいし、なんか間違っているしでかなり苦労した
そして、みんな、どんなテスト管理ツール使っているんだろう。。。。
次は ruby でプログラムを作ってみるが、もう curl で実証が取れたので後は簡単である。