株式会社LIFULLの品質戦略部の中野（@nakanon）です。
はじめに
弊社QAチームでは今年の春にテストプロセス改善に向けて ソフトウェアテストのアセスメントモデルである「Agile TPI」の導入の検討に入り、その後 AgileTPIのテーラリングから全社向けのアセスメント活動を実施し、すべてのプロダクトのレポートに加え、全社での評価レポートをまとめました。
今回は、Agile TPIの概要とアセスメント活動の事例をご紹介します。
Agile TPI （Agile Test Practice Improvement） とは
ソフトウェアテストプロセスの成熟度評価と改善モデルです。
TPI NEXTⓇ（ビジネス主導のテストプロセス改善）のアジャイル実践への応用としてSogeti社によって策定、提供されています。
Agile Test Practice Improvement (Agile TPI)
Agile TPIの用語
キーエリア
テストプロセスの評価軸、分類を指します。例えば「テスト戦略」「テストツール」「メトリクス」などです。
チェックポイント
キーエリア毎に複数のチェックポイント（質問）が存在しています。
チェックポイントに回答することで個々のテスト活動の「出来ている」「出来ていない」を判断することが出来ます。
クラスター
各チェックポイントの改善の優先度があり、最優先のAから段階的にGまで定められています。
アセスメントの実施
大まかに以下のような流れでアセスメントを実施しました。
1. Agile TPIのテーラリング
Agile TPIでは「Agile TPI Tool」というアセスメント実施用のExcelが提供されており、Excelにあるチェックリスト形式の質問に回答することでテスト活動における様々な活動の実践度合いや成熟度を可視化することができます。
テーラリングでは、主に社内の開発チームが答えやすいように質問の具体性の調整や言葉選びなど、チェックポイント（成熟度判定の質問）の見直しを行いました。
また社内にはテスト組織がありませんので「04 テスト組織」を削除し、置き換える形でオリジナルには存在しなかった「レビュー」のチェックポイントを作成しました。
最終的なキー項目のリストは以下の通りです。「04」以外はオリジナルとなります。
| キーエリア | キーエリア | ||
|---|---|---|---|
| 01 | ステークホルダーのコミットメント | 09 | メトリクス |
| 02 | 関与の度合い | 10 | 欠陥管理 |
| 03 | テスト戦略 | 11 | テストウェア管理 |
| 04 | レビュー | 12 | 手法の実践 |
| 05 | コミュニケーション | 13 | テスト担当者のプロ意識 |
| 06 | 報告 | 14 | テストケース設計 |
| 07 | テストプロセス管理 | 15 | テストツール |
| 08 | 見積もりと計画 | 16 | テスト環境 |
2.すべてのプロダクトの現状調査
作成したアセスメント用のチェックリストを用いてプロダクトの担当者から回答をいただきました。
3.分析・レポーティング
集計した結果から個々のプロダクトに対しては現状分析と改善提案のレポートの提供を行いました。また、全体分析として組織としての強みや弱み、直近でQAが取り組むべき課題などをまとめたサマリーレポートを作成しました。
分析・レポートティングを通して
プロダクト担当者からの支援要請
プロダクトに対するフィードバックのレポートを受けて、プロダクトの担当者よりプロセス改善の支援依頼が発生しました。今後プロセス改善に役立つコンテンツの必要性が高まった点も今回の活動における評価できるポイントだと感じています。
サマリーレポートの分析軸
今回は全体分析として以下の3つの軸で分析を実施しました。
- 組織全体の強み弱み
- クラスター（改善の優先順位）毎の成熟度合いや傾向
- 本番障害とプロセス成熟度の相関
今回の活動から組織全体の強み弱みを分析できた点は特にやって良かったと感じたところです。
全体のデータからインサイトを得ることでQAとして組織全体に対して今後のアプローチを決定する材料になりますし、ステークホルダーとも次につながるコミュニケーションが期待できます。
全体分析から得られたインサイト
得られたインサイトの一例として以下のようなことがありました。
- テストや品質の教育は十分に提供されているか。どの程度行き届いているか
- リグレッションテストの実践度合い、テストツールの導入やテスト自動化の状況はどうか
- テストプロセスの中で不足している技術は何か。例えば、メトリクス管理、レビュー、テスト戦略などのうち次に注力すべきポイントは何か
- キーエリアの3つの属性（ステークホルダーとの関係、テスト管理、テスト業務の専門性）から見た成熟度の偏り
上記のような視点を持つことでファクトをもとにステークホルダーに説明できることが可能になりました。
最後に
今回のアセスメント活動を通して、個々のプロダクトの改善提案をフィードバックできた点はもちろん、組織全体の課題を分析できたことから活動の有用性を感じています。
普段の開発プロジェクトや本番障害の分析などで感じていた肌感とのギャップを分析から気づけた点も良かったです。