テスト実績を見える化する

西山さん作成のTestLinkのExcelマクロがVer2.8へアップグレードしたので使った感想をメモ。

【元ネタ】
ニュース - EXCEL試験書からのXMLファイル変換マクロ(ver.2.8）をリリース　TEF有志によるテスト管理システムTestLink日本語化プロジェクト

【Ver2.8で追加された機能】
テスト結果の統計データのエクスポート　　

・指定された期間のビルド単位の試験結果の推移をグラフ化できます。
・試験者を指定した試験結果の推移をグラフ化できます。
・試験結果の累計数は、各テストケースでの最後に実施した結果の累計数です。

上記の機能のおかげで、TestLinkにたまったテスト結果をExportした後、上記のExcelマクロで取り込むと、実施日ごとに、試験数、成功数、失敗数、ブロック数の推移をグラフ化してくれる。

アジャイル開発とTestLinkを組み合わせた場合、TestLinkのテスト計画が一つのイテレーションに対応するように運用するだろう。
つまり、TestLinkのテスト計画にあるテストケース数百件～数千件を全て「成功」にしなければ、リリースできないようにする。
すると、システムをリリースする前に必ず、TestLinkのテスト計画の単位で、そのイテレーションの受入テストをクリアする運用になる。

この運用を開始してから、複数のテスト計画の実績がTestLinkにたまったわけだが、上記のマクロでグラフ化すると、受入テストでどれだけ苦労したかがすぐに分かる。

テスト計画の進捗グラフを見ると、例えば、最初はテストはスムーズで成功の件数が増えるが、ある時点から失敗とブロックが増えて、実質のテスト進捗が芳しくない時があった。
この場合は、バグが出ると、途端に関連するテストケースも失敗で更新されてしまい、そのシナリオに続くテストケースは、バグが直らないとテストできないので、ブロックにして保留にしていた。

あるいは、失敗やブロックの件数が増えても何とか潰して残り数ケースになったのに、全てのテストケースが完了するまで数日かかっている時もあった。
この場合は、バグを潰したものの、再テストすると又他のバグが出てしまい、なかなかテストが収束しない時だった。

そんな経験も踏まえて、リリース後にメンバーとKPTしたら、多くの気付きが得られるだろう。
また、複数のテスト計画をこのマクロできちんと分析すれば、テスト工数の見積の精度が高くなるだろう。

ただ、ここまでテスト実績が数値やグラフとして出力されると、テストの見える化を通り越して怖いと思うときがある。
もしTestLinkが開発チーム内部だけでなく、会社の上層部、あるいは、顧客と共有していたら、彼らは、テスト実績をこのマクロでテスト進捗をグラフ化するだろう。
すると、テストが遅れていたら、何故なんだ！対策は取っているのか！と開発チームに詰問してくるだろう。

TestLinkにたまったテスト実績には、たくさんのポテンシャルが秘められていると思う。