TestLinkによる要件カバレッジ

TestLinkへテストケース、要件、テストケースと要件の紐づけの3種類をインポートするExcelマクロが公開された。
さっそく使ってみた感想をメモ。
＃作者の西山さん、ありがとうございます。

【元ネタ】
v10_TestLinkCnvMacro - TestLinkTools - SourceForge.JP

TestLinkJP - TEF有志によるテスト管理システムTestLink日本語化プロジェクト

TestLinkTools運用の流れ図の表示 - TestLinkTools - SourceForge.JP

管理者の目的では、TestLinkを受入テストのテストケース管理として使いたい。
TestLinkのおかげで、テスト結果をリアルタイムにモニタリングできるため、進捗管理しやすくなる。
上記の要件カバレッジの機能があれば、どの要件は進捗が遅れているか、どの要件でバグがたくさん出ているか、を追跡することができる。

実際、バグが出る要件、テストが失敗しやすい要件は偏りがあるため、それらを数値として出力できることは、プロジェクトマネジメントの観点から非常に重要。

TestLinkで結合テストやシステムテストを代用する場合、数千～数万の桁のテストケースを作る必要がある。
それだけのテストケースをWeb上から逐一入力するのは手間がかかりすぎ。
そのため、上記のExcelマクロを使えば、数千～数万のテストケースも簡単に一括インポートできる。

上記のExcelマクロでは、要件とテストケースの紐付けデータもインポートできる。
すると、要件カバレッジをリアルタイムに見ることができる。

実際の画面キャプチャを見てみよう。

上記のExcelマクロでは、要件をテストケースの属性であるキーワードに紐づける。
この仕掛けのおかげで、テスト実行画面、テスト結果画面で、キーワードでフィルタリングすればよい。

テスト実行画面で、キーワードをフィルタリングした結果は下記の通り。

テスト担当者に使い方を聞いてみたら、アサイン＝自分、結果＝未実行でフィルタリングして、担当のテストケースを消化していくのが多いみたい。

テスト結果画面は下記の通り。
管理者はこの画面で、テスト結果をリアルタイムに進捗確認する。

テスト結果画面のキーワード別結果は下記の通り。
キーワードが要件に相当するため、どの要件で失敗ケース数が多いか、確認できる。

テスト結果画面の失敗したテストケース一覧は下記の通り。
最終的には、失敗テストケース数＝０にしなければリリースできない。
納期1ヶ月前に失敗テストケース数が50ケース以上ならば、おそらく納期までに間に合わないだろう。

テスト結果画面のバグ一覧は下記の通り。
「オープン」は未解決バグ数、「解決済み」は解決バグ数を表す。
最終的には、オープンのバグ数＝０にしなければリリースできない。

バグが50件以上ならば、システムの品質に問題があるだろう。
しかし、テストケース数が数千～数万の桁の場合、設計や単体テストの品質が良くなければ、バグは簡単に50件を超えるだろう。

TestLinkを運用して気付いたことは、テスト戦略の重要性だ。
数千～数万のテストケースのうちどれを優先してテストするか、バグが出た場合どのバグを優先して解決するか、という判断をいつも迫られる。
TestLinkは、管理者が考えるテスト戦略を見える化しているのだ。