Eggplant DAIランナーの使用
Eggplant DAI Runnerでは、Test Configurationタブで作成された事前設定されたテストを実行し、カラーコード付きのドットを通じてそれらのテストの結果を表示できます。また、Runnerタブからテストの実行をスケジュールすることもでき、進行中のテストを確認できます。Runnerタブにアクセスするには、Eggplant DAIインターフェースの左側のメニューでコントローラーをクリックします。
テストの実行
テスト実行を行うには、Runnerタブから実行したいTest Configurationに対して Runボタンをクリックします。複数のテストを実行する場合は、この手順を繰り返します。
Eggplant FunctionalまたはEggplant DAIスニペットエディターで手動で変更したスクリプトをテスト実行前に実行環境(Manage Agents > Manage Suites)に再アップロードすることを忘れないでください。そうしないと、変更が上書きされる可能性があります。
親モデルを通じて実行された場合、サブモデルは親モデルと同じスイートを使用します。
進行中のTest Configurationインスタンスを停止するには、をクリックします。
Test Configurationスケジュールの一部であるテスト実行を中止すると、その構成スケジュールに属する_すべて_の実行が中止されます。
Runnerインターフェースでは、テスト構成に関する以下の情報が表示されます:
-
Test Configuration: テスト構成の名前。この列はアルファベット順に並べ替えることができます。
-
Model/Suite: 選択されたTest Configurationに使用されたEggplant DAIモデルまたはスイートへのリンク。それぞれ左側にあるアイコン、ビルディングブロック
がモデルを、フォルダ
がスイートを表します。
-
Schedule Type: Test Configurationのスケジュールタイプ。特定のTest Configurationにスケジュールがない場合はNo Scheduleと表示されます。
-
Scheduled Start: 与えられた構成のスケジュールされたテスト実行が開始される日時。そのTest Configurationにスケジュールが存在しない場合、このフィールドは空白です。
-
Previous Results: カラーコード付きのドット(下記参照)を通じて、最新10回のテスト実行(該当する場合)の結果を表示します。個々のドットにカーソルを合わせると、実行のステータスと日時が表示されます。クリックして、その実行の結果のスナップショットを表示します。
テストが成功したことを示します。
テストが失敗したことを示します。
Test Configurationが進行中であることを示します。
テストがエラーで結果となったことを示します。
テスト実行が中止されたことを示します。
詳細については、実行結果の表示を参照してください。
- Last Executed: 最も最近の実行の日時。テスト実行が進行中の場合はIn Progressと表示されます。この列は年代順に並べ替えることができます。
実行結果の表示
詳細なテスト実行結果のアクセス
「Previous Results」列では、個々の実行結果アイコンをクリックすることで、Test Configurationの実行に関する洞察を得ることができます。これらのアイコンは、
合格、
失敗、
進行中、
エラー、または
中止
などのさまざまな結果を表しています。これらをクリックすると、テスト実行の詳細な要約が展開されます。
テスト実行の概要表示
この要約では、以下の情報が見つかります:
- Execution result: テストが成功したか問題に遭遇したかを示します。
- Run details: 実行が開始された時刻、その期間、System Under Test (SUT)に関する情報などの詳細。
- Steps completed: 正常に実行されたステップの数。
- Total reruns completed: すべてのステップで実行された再実行の合計回数。
- Total test runs completed: 初期実行と必要な再実行を含む全体的なテスト実行の数。
ドーナツチャート
ドーナツチャートは、Test Configurationの結果を視覚的に表現します。このチャートには次の情報が表示されます:
- Passed first time: 最初の試行で合格したテストケースの数。
- Passed after rerun: 初期に失敗したが、再実行後に最終的に合格したテストケース。
- Failed: 成功基準を満たさなかったテストケース。
- Errored: 実行中にエラーに遭遇したテストケース。
- Cancelled: 完了しなかったテストケース。
- In progress: 現在実行中のテストケース。
複数回の再実行が行われるケースでは、ドーナツチャートは再実行の最終結果のみを表示します。再実行機能について詳しくは、次のページを参照してください: Test Configuration
Test Configurationログ
テストプロセスと詳細なテストケース実行結果についてより深く理解するために、Test Configurationログを参照できます。これらのログには、テストと関連する詳細が記録されています。
選択したテスト実行の結果をさらに詳細に調べるためにOpen in resultsをクリックします。これによりResultsタブが開き、選択したテスト実行のすべての個別のテスト実行が表示されますが、画面上部のView all resultsリンクをクリックすることでデフォルトのAll Runsビューに切り替えることができます。Open in resultsボタンは、Error状態になった実行を除いてすべてのテスト結果に利用可能です。
エラー実行ドットをクリックすると、拡大表示されたビューでエラーの理由が表示されます:
Runnerからテスト実行の削除
Previous Results列で、 成功、
失敗、
進行中、
エラー、
中止を表す個々のカラーコード付きドットをクリックして、そのテスト実行の概要を拡大表示で確認します。
拡大表示でOpen in Resultsをクリックすると、選択したテスト実行の結果をさらに詳細に調べることができます。これによりTest Resultsタブが開き、選択したテスト実行のすべての個別のテスト実行が表示されます。
画面の右上隅にはDelete Runとラベル付けられた赤いボタンがあります。これをクリックすると確認ボックスが表示されます。削除を進めるにはConfirmをクリックします。
選択したテスト実行のインスタンスおよびその結果のすべてが削除されます。
削除が完了すると、画面はRunnerタブに戻ります。
テスト実行のスケジュール設定
テスト実行のスケジュール設定により、テスト実行に大きな柔軟性がもたらされます。つまり、特定の間隔でテストを実行するように設定できます。Eggplant DAI Runnerインターフェースで、スケジュールありまたはなしでTest Configurationを実行できます。
スケジュールされた時間に、または Runボタンをクリックして、同じTest Configurationの別のテスト実行が進行中の場合、新しく開始されたテスト実行は直ちにエラーで完了します。
ステップバイステップ:テストのスケジュール設定
-
テスト実行のスケジュールを設定するには、次の2つの方法があります:
- Runnerタブで、スケジュールを作成したいTest ConfigurationのSchedule Typeカプセルをクリックします。
からEditを選択して、スケジュールインターフェースを開きます。Edit test scheduleカレンダーインターフェースが開きます。
Edit test scheduleカレンダーインターフェースが開きます。
-
カレンダーインターフェースで必要な変更を行います。たとえば、特定の日付と時間を選択してテストを実行する、または次のオプションから頻度を選択するなど:
- No Schedule: スケジュールなしでテストを実行します。
- Run once at selected time: 指定 日時に一度実行します。
- Run on selected then repeat every: テストを定期的に実行するようにスケジュールします。分、時間、週の日、月の日など、特定の間隔でテストを実行するようにカスタマイズできます。
-
Saveをクリックして変更を保存するか、Cancelをクリックして破棄します。
すべての実行を表示する
Test Configuration内のすべての実行を表示できます。これには、実行されなかった実行、進行中の実行、通常の合格または失敗ステータスの実行が含まれます。Test Configuration内のすべての実行を表示することは、失敗した実行の原因を特定するための詳細を見つけるのに特に役立ちます。
実行履歴を表示する
アクションメニュー から、履歴を表示したいTest ConfigurationのView Allを選択します。最新の実行を表示する別のインターフェースが開きます:
- Execution Date: Test Configurationの日時。
- Status: カラーコード付きカプセル形式でテスト実行のステータスを表示します。オプションは以下の通りです:
- Success
- Failed
- In Progress
- Error
- Canceled
- Open in Results: Open in Resultsをクリックして、選択したテスト実行の結果をさらに詳細に調べます。これによりResultsタブが開きますが、View all resultsをクリックすることでデフォルトのAll Test Runsビューに切り替えることができます。
- Expand row button: 選択した実行の結果のスナップショットを表示するためにクリックします。
RunnerナビゲーションリンクをクリックしてRunnerタブに戻ります。
実行履歴からテスト実行を削除する
Open in Resultsをクリックして、選択したテスト実行の結果をさらに詳細に調べます。これによりResultsタブが開き、選択したテスト実行のすべての個別のテスト実行が表示されます。
画面の右上隅にはDelete Runとラベル付けられた赤いボタンがあります。これをクリックすると確認ボックスが表示されます。削除を進めるにはConfirmをクリックします。
選択したテスト実行のインスタンスおよびその結果のすべてが削除されます。
削除が完了すると、画面はRun Historyタブに戻ります。