Eggplant DAIランナーの使用
Eggplant DAI Runnerでは、Test Configurationタブで作成された事前設定されたテストを実行し、カラーコード付きのドットを通じてそれらのテストの結果を表示できます。また、Runnerタブからテストの実行をスケジュールすることもでき、進行中のテストを確認できます。Runnerタブにアクセスするには、Eggplant DAIインターフェースの左側のメニューでコントローラーをクリックします。
テストの実行
テスト実行を行うには、Runnerタブから実行したいTest Configurationに対して Runボタンをクリック します。複数のテストを実行する場合は、この手順を繰り返します。
Eggplant FunctionalまたはEggplant DAIスニペットエディターで手動で変更したスクリプトをテスト実行前に実行環境(Manage Agents > Manage Suites)に再アップロードすることを忘れないでください。そうしないと、変更が上書きされる可能性があります。
親モデルを通じて実行された場合、サブモデルは親モデルと同じスイートを使用します。
進行中のTest Configurationインスタンスを停止するには、をクリックします。
Test Configurationスケジュールの一部であるテスト実行を中止すると、その構成スケジュールに属する_すべて_の実行が中止されます。
Runnerインターフェースでは、テスト構成に関する以下の情報が表示されます:
-
Test Configuration: テスト構成の名前。この列はアルファベット順に並べ替えることができます。
-
Model/Suite: 選択されたTest Configurationに使用されたEggplant DAIモデルまたはスイートへのリンク。それぞれ左側にあるアイコン、ビルディングブロック がモデルを、フォルダ がスイートを表します。
-
Schedule Type: Test Configurationのスケジュールタイプ。特定のTest Configurationにスケジュールがない場合はNo Scheduleと表示されます。
-
Scheduled Start: 与えられた構成のスケジュールされたテスト実行が開始される日時。そのTest Configurationにスケジュールが存在しない場合、このフィールドは空白です。
-
Previous Results: カラーコード付きのドット(下記参照)を通じて、最新10回のテスト実行(該当する場合)の結果を表示します。個々のドットにカーソルを合わせると、実行のステータスと日時が表示されます。クリックして、その実行の結果のスナップショットを表示します。
テストが成功したことを示します。
テストが失敗したことを示します。
Test Configurationが進行中であることを示します。
テストがエラーで結果となったことを示します。
テスト実行が中止されたことを示します。
詳細については、実行結果の表示を参照してください。
- Last Executed: 最も最近の実行の日時。テスト実行が進行中の場合はIn Progressと表示されます。 この列は年代順に並べ替えることができます。
実行結果の表示
詳細なテスト実行結果のアクセス
「Previous Results」列では、個々の実行結果アイコンをクリックすることで、Test Configurationの実行に関する洞察を得ることができます。これらのアイコンは、
合格、
失敗、
進行中、
エラー、または
中止
などのさまざまな結果を表しています。これらをクリックすると、テスト実行の詳細な要約が展開されます。
テスト実行の概要表示
この要約では、以下の情報が見つかります:
- Execution result: テストが成功したか問題に遭遇したかを示します。
- Run details: 実行が開始された時刻、その期間、System Under Test (SUT)に関する情報などの詳細。
- Steps completed: 正常に実行されたステップの数。
- Total reruns completed: すべてのステップで実行された再実行の合計回数。
- Total test runs completed: 初期実行と必要な再実行を含む全体的なテスト実行の数。
ドーナツチャート
ドーナツチャートは、Test Configurationの結果を視覚的に表現します。このチャートには次の情報が表示されます:
- Passed first time: 最初の試行で合格したテストケースの数。
- Passed after rerun: 初期に失敗したが、再実行後に最終的に合格したテストケース。
- Failed: 成功基準を満たさなかったテストケース。
- Errored: 実行中にエラーに遭遇したテストケース。
- Cancelled: 完了しなかったテストケース。
- In progress: 現在実行中のテストケース。
複数回の再実行が行われるケースでは、ドーナツチャートは再実行の最終結果のみを表示します。再実行機能について詳しくは、次のページを参照してください: Test Configuration
Test Configurationログ
テストプロセスと詳細なテストケース実行結果についてより深く理解するために、Test Configurationログを参照できます。これらのログには、テストと関連する詳細が記録されています。
選択したテスト実行の結果をさらに詳細に調べるためにOpen in resultsをクリックします。これによりResultsタブが開き、選択したテスト実行のすべての個別のテスト実行が表示されますが、画面上部のView all resultsリンクをクリックすることでデフォルトのAll Runsビューに切り替えることができます。Open in resultsボタンは、Error状態になった実行を除いてすべてのテスト結果に利用可能です。
エラー実行ドットをクリックすると、拡大表示されたビューでエラーの理由が表示されます: