Eggplant DAIのカバレッジレポート
カバレッジレポーティングはEggplant DAIの主要な機能の一つです。Eggplant DAIのCoverage Reportタブでは、テスト実行中にモデルのどの部分が訪問されたかを表示します。これらの結果を使用して、モデルの重み付けやその他の変数を調整し、最も重要なエリアに適切なカバレッジを確保できます。
ModelerのCoverage Reportタブ
カバレッジタイプの表示
Coverage Typeドロップダウンメニューを使って、Coverage Reportに含めたいモデルパスの詳細度を選択できます。
モデルパスの詳細度を含めるための選択
モデルパスの詳細度を含めるための選択
選択したCoverage Typeは、計算に使用される連続した状態の数と連続したアクションの数を設定します。この設定を変更すると、Eggplant DAIはモデルの実行データに基づいてカバレッジメトリクスを再計算します。
例えば、Coverage Typeの値をExtendedに設定した場合、Eggplant DAIはモデルを通る可能性のある全てのパス（3つのアクションのシーケンスまたは3つの状態から成る）を計算します。また、これらのパスに関連するメトリクスも計算します。
Coverage Typeの設定は報告の詳細度のみを変更します。テストの実行方法には影響しません。
テスト実行中、Eggplant DAIはモデル内のアクションのシーケンスの全ての組み合わせに基づいて可能なパスのカバレッジを計算します。特定のアクションに設定された変数の条件により、一部のパスがアクセスできない場合、達成可能な最大カバレッジは100％未満になるかもしれません。
以下の図は、Coverage TypeがExtendedに設定された状態のパスのセットの例を示しています：
Coverage TypeがExtendedに設定された状態パスのセット
以下の図は、Coverage TypeがFull Exploratoryに設定されたアクションパスのセットの例を示しています：
Coverage TypeがFull Exploratoryに設定されたアクションパスのセット
Coverage TypeがFull Exploratoryに設定されたアクションパスのセット
カバレッジメトリクスは、ロードしたモデルのカバレッジパーセンテージを、テストによってカバーされた状態、アクション、およびパスの数を、カバー可能な状態、アクション、またはパスの数で割ることによって、表示します。異なるカバレッジ深度設定のモデルパスカバレッジパーセンテージの視覚的な比較を見るには、Compare Coverageをクリックしてください。
パラメーターに対するCross Type Values
Coverage Reportはパラメータカバレッジに関する情報を提供します。レポートを見ているとき、Crossタイプは、モデル内のアクションによって使用される2つのパラメータ値の組み合わせを表しています。パラメータ使用のインスタンスは、binタイプとして表示され、レポート内で関連するCrossタイプの下に位置しています。Crossまたはbinタイプは、前述のような時間的なアクションや状態ではないことに注意してください。以下の例示図は、キャッシュまたはクレジットの方法パラメータ値と、1、2、または10のクーポンパラメータ値の組み合わせを示しています。
現金またはクレジットの方法パラメータ値と、1、2、または10のクーポンパラメータ値の組み合わせ
現金またはクレジットの方法パラメータ値と、1、2、または10のクーポンパラメータ値の組み合わせ
Eggplant DAIがCrossタイプを処理するとき、多量のメモリを消費する可能性があるため、2つのパラメータ値の上限を取り扱うだけでなく、追加の制限が適用されます。Crossタイプを処理する際、Eggplant DAIは値bins内の3つの値のグループのみを考慮します：最小値、最大値、および結合された中間の値。
例えば、以下の図では、現金またはクレジットの方法パラメータ値が最小値1、最大値9、および2-8の範囲の一連の中間値と組み合わせられています。
現金またはクレジットの方法パラメータ値と、最小、中間、最大パラメータ値の組み合わせ
サブモデルのカバレッジ
Coverage Reportは、テストランで有効化されたサブモデルからのカバレッジ情報も表示します。Eggplant DAIでサブモデルのカバレッジを表示する方法は複数あります。
- 親モデル経由で： Coverage Reportタブから、Name列で展開してサブモデルを含 む状態に移動します。
- サブモデル自体経由で： サブモデルをロードし、Coverage Reportタブでアクションと状態のカバレッジを表示します。
次のサンプルレポートは、親モデルに含まれるモデルとサブモデルに関連するアクションと状態のカバレッジを示しています。
親モデルの総カバレッジを計算するとき、Eggplant DAIはすべての利用可能なサブモデルのカバレッジも考慮に入れます。この例では、親モデルは_life_と呼ばれ、それには_life_play_というサブモデルがあり、_life_play_には自分自身のサブモデル_life_eat_があります。 Eggplant DAIは、モデルとサブモデルが実行された回数も考慮に入れます。モデルとそれに関連するサブモデルを実行する回数が多ければ多いほど、カバレッジがある可能性が高くなります。
追加のカバレッジレポート情報
Report Summaryでは、実行されたテストの総数、失敗したテストの数、およびテストの合格率が表示されます。
テストラン中にモデルのどの部分がヒットしたかを視覚的に表示するには、View Heat Mapをクリックします。Coverage Reportペインを展開する必要があるかもしれません。
Eggplant DAIのView Heat Mapボタン
Eggplant DAIのView Heat Mapボタン
Heat mapはカバレッジまたは失敗を表示できます。メインのEggplant DAIツールバーのドロップダウンメニューで表示したいレポートを選択します。このメニューからヒートマップをオンにすることもできます。
カバレッジのコンテキストでは、モデルの中で最もヒットしたコンポーネントは濃い青色で表示されます。ヒットした回数が少ないコンポーネントは薄い青色で表示されます。ヒットしなかったコンポーネントは灰色で表示されます。モデルからヒートマップビューを削除するには、Coverage ReportタブでRemove Heat Mapをクリックします。
Coverage heat map overlayが表示されたModeler Modelタブビュー
Failuresのコンテキストでは、テスト中に失敗するアクションは赤で表示されます。
Coverage Reportタブでは、モデル内の状態を展開または折りたたむことで、関連するアクションとそれらのアクションのモデル内のカバレッジを確認できます。状態は、モデルのテーブル表現で展開または折りたたむことができ、またはExpand AllまたはCollapse Allをクリック することでも可能です。
Coverage ReportをXMLまたはCSV形式でエクスポートするには、レポートタブの下部にある適切なボタンをクリックします。