1. 「テスターちゃん」について

初心者(新人)向けに描かれたソフトウェアテストの漫画になります
たまたまJSTQBについて調べていた時に見付けたブログの記事がきっかけで読むようになりました
JSTQBを取るメリット5選

今でも更新がある度にチェックしたり、書籍版を読み返したりしたり、とテスト関連の資料として活用しています

2. LOG

3. テスト自動化

3.1 テストの自動化って何？

手作業でやっていたテストをプログラム等で自動的にテストすること
基本動作確認とか回帰テストとか繰り返すところ等の作業的なところに効果を発揮する

因みに、回帰テストとは
別名：リグレッションテスト
バグ修正後に別のところが壊れていないか確認するテスト
意外とバグが出易い

3.2 注意点

仕様変更があると作り直さなければいけない
直す手間と効果のバランスを考える必要がある

4. AIが使われたオススメ機能のテストのやり方

4.1 そもそもAIとは

ここでは機械学習を指す
遺伝的なアルゴリズム等もAI含まれる

AIは不思議なブラックブックスではない

教師あり学習の場合、データのこの特徴を使い、このモデルを通して、こういうデータの傾向を覚えさせると言う流れ

データ・特徴・傾向等はテストのヒントに大いになりえる

4.2 機能の確認

AIのテストには開発者との連携は必須だお！

テストのヒントを得るには…

「どんなデータを使って、何を覚えさせたが」を聞く
「こう動くはず」と思っていることを聞く
- 「そう動くと思っていることが確かにそう動く」かの確認は必要
AIも一つの機能なので、機能全体を考えていつものテスト観点も出る
特定の観点のデータの学習が漏れていたり、データが偏っていたりすることもあるため、学習の漏れも考慮する

4.3 精度の確認

実際のログを使った制度の確認は、教師データに使ったデータを使うのはアウト
⇒「これが入ったらこうなる」とそのデータで覚えたのに、同じデータを使ったら同じ結果になるのは至極当然
精度を見たいのなら違うデータで確認しないとダメ

精度の代表的な計算例

①Precision(適合率)
該当の件数の内何件当たったか

②Reciprocal Rank
ランキングの何番目に最初の辺りが出たかを分数にする
条件を変えて計算した後、その平均を出したのがMRR(Mean RR)である

③Average Precision(AP)
その順位までにおける正解率を、各正解データの部分に限定して平均を取ったもの
条件を変えて計算した後、その平均を出したものがMAP(Mean AP)である

4.4 テスティングのやり方

AIみたいな期待結果がわからない時…
「こう変更したらこうなるはず」と予測出来る関係を使って変なことが起っていないかを確認出来る方法

メタモルフィック・テスティングと言う
「入力に対してある一定の変化を与えた時出力の変化が理論上、予測出来る」メタモルフィック関係を使ったテストのこと

これはロジックにもよるため、開発者との連携が重要となってくる

4.5 ペルソナを使ったテスト

ここでのペルソナとは…
ユーザーをグループやパターンで等で分けた時、それを代表するユーザー像のこと

そのペルソナを想定してシナリオを、作成して確認していく

⇒ペルソナを使ったテストの期待結果の一案について
例えば、4段階とかのアンケート形式で取るなど…

5. 今後の進め方について

「テスターちゃん」の書籍を使ったまとめは一応一段落付きました
とは言え、完結していない作品で、メインのブログでも連載は続いています
また、書籍・同人誌共に次の巻がいつ出るのかも不明となっています

今後はブログの方で1話終わるごとにまとめを書いていこうと考えています

「テスターちゃん」で学ぶソフトウェアテスト⑧