テスト構成について
テスト構成は、Eggplant DAI でオンデマンドで実行したり、定期的に実行するようにスケジュールしたりできるテストのコレクションです。テスト構成 (「テスト構成」) は、本質的には、次々に実行できるテストの青写真です。テスト構成では、指示されたテスト ケースとモデルベースの探索的テストを実行できます。 テスト ケースの詳細については、テスト ケースについて を参照してください。
[コントローラー] > [テスト構成] に移動し、定義したテスト構成を作成、編集、または表示します。
各テスト構成の詳細を一目で確認できるように、次の列が表示されます。
- Name：テスト構成の表示名。
- モデル/スイート: 実行することを選択したテスト構成のタイプに応じたモデルまたはスイートの名前。
- Description：テスト構成の説明。他のテスト構成と区別しやすくするための意味のある説明を提供します。
- Tags：表示している選択されたテスト構成のために定義されたタグ。
- SUT：関連するSUT、またはテスト構成のためのSUTを選択するための基準。
- Updated：テスト構成が最後に更新された日時。
- Steps：テスト構成に含まれるテストステップの数。テストステップは、モデルからのテストケース、スクリプトベースのテストケース、または停止基準を持つ探索的テストです。
[アクション 
] メニューをクリックして、テスト構成を編集、削除、または複製します。
テスト構成のフィルタリング
次の方法でテスト構成をフィルタリングできます。
- 名前で検索: 名前で検索 検索バーにテスト構成名の一部を入力します。 DAI は、入力時に表示されるテスト構成をフィルタリングします。
- モデル別: モデルに関連付けられたテスト構成を表示したい場合は、モデル ボタンの矢印をクリックして、提案されたリストからモデルを選択するか、検索にモデル名の入力を開始します。.. 分野。 DAI は入力時にスイートを提案します。
- スイート別: スイートに関連付けられたテスト構成のリストを表示したい場合は、スイート ボタンの矢印をクリックし、提案されたリストからスイートを選択するか、ボックスにスイート名の入力を開始します。 検索... フィールド。 DAI は、入力中におすすめの内容を提案します。
テスト構成の作成
[コントローラー] > [テスト構成] に移動して、テスト構成 (「テスト構成」) を作成します。
ステップバイステップ：テスト構成の作成
テスト構成の作成は 3 つのステップで構成され、各ステップに 1 つのページがあります。手順とページの概要を以下に示し、その後に詳細な手順を示します。
- ステップ 1: 全般: 名前、説明、テスト タイプなど、テスト構成に関する一般情報を入力するページ、テスト構成タグ、実行設定、および SUT。
- ステップ 2: ステップ/アクション: テスト構成で実行する探索的テストまたはテスト ケースのアクションを構成するページ。
- ステップ 3: 詳細設定: 失敗したテスト ステップを自動的に再実行し、電子メール通知を設定するかどうかを設定できるページ完了したテスト構成の実行を通知します。
以下の図に示すように、ページの上部にある進行状況トラッカーには、作成プロセスのどこにいるかが表示されます。紫色で強調表示された番号は、プロセス内の現在のステップを示します。ページでの情報の入力が完了して次のページに進むと、進行状況トラッカーにはステップが完了したことを示す緑色のチェックが表示されます。
ページには キャンセル ボタンと 戻る ボタンが含まれているため、必要に応じてテスト構成の作成をキャンセルしたり、前のページに戻ったりすることができます。
名前とテスト タイプを指定すると、追加の設定が有効になります。
ステップ 1: テスト構成の一般情報を構成する
-
[コントローラー] > [テスト構成] に移動します。 テスト構成 ページが開きます。
-
トップメニューの右側で、+ 新しいテスト構成 をクリックします。 [新しいテスト構成の作成] ページが開き、プロセスの最初のステップとして、上に示した [全般] ページが表示されます。ここでは、テスト構成の 基本設定を指定します。
-
テスト構成の 名前 と 説明 を入力します。これは、テスト構成のリストに表示される名前と説明です。 [説明] フィールドをクリアするために使用できる [すべてクリア] ボタンにも注目してください。
-
テスト構成の テスト タイプ (モデル ベース または スクリプト ベース) を選択します。テスト タイプを指定すると、さらに多くの設定が表示されます。表示されるオプションの一部は、選択したテストの種類によって異なります。どちらのテスト タイプでも、テスト構成タグ セレクターと 実行設定 セレクターが表示されます。
-
モデル ベース テスト タイプを選択した場合は、モデル セレクターが表示されます。
-
スクリプト ベース テスト タイプを選択した場合は、スイート セレクターが表示され、テスト構成で実行するスクリプト/スニペットを含むスイートを選択できます。
-
-
テストの種類に応じて、セレクターからモデルまたはスイートを選 択します。
ノートモデルまたはスイートを選択すると、ページの下部にある [次へ] ボタンが有効になることに注意してください。この時点で、このページの残りの設定のデフォルト値を使用して ステップ/アクション ページに進むことができます。
-
タグの名前を入力し、Enter を押して、テスト構成タグを追加または選択します。タグは、テスト構成によって識別およびフィルタリングするための別の方法を提供します。テスト タグは必要なだけ追加できます。 [すべてクリア] ボタンを押して、選択したタグのリストをクリアすることもできます。
-
ページの 実行設定 セクションで、テスト構成で使用する実行 環境のタイプ (ローカル または クラウド) を選択します。
-
次のように、実行環境に適したこのテスト構成の SUT オプションを選択します。
ローカル実行環境の場合は、次の SUT から選択します。
-
None (SUT なし) SUT がコード内で定義されている場合、または必須ではない場合。
-
SUT by name 事前に定義されたSUTを選択する。
-
基準タグによる SUT: ドロップダウン リストから SUT タグを選択します。 SUT タグは、SUT ページ (コントローラー > SUT) で利用可能な SUT に関連付けられています。 SUT または SUT タグを作成する場合は、SUT ページに移動します。
クラウド実行環境の場合は、次の SUT から選択します。
-
ローカル実行環境については、上記と同じオプションがリストされています。
-
Eggplant ホスト型クラウド: これを選択すると、Eggplant がクラウド実行環境 (エージェントと Eggplant 機能を含む) をプロビジョニングするクラウド SUT でテストを実行します。詳細については、「DAI クラウド SUT への接続」(dai-hosted-cloud-sut.md) を参照してください。 (このオプションはクラウド SUT でのみ使用できます。)
-
-
基本設定の構成が完了したら、次へ をクリックします。テスト構成作成プロセスの 2 番目の部分である ステップ 2: テストのステップ/アクション ページに進みます。
ステップ 2: テスト構成のステップ/アクションを構成する
[ステップ/アクション] ページに表示されるオプションは、選択したテストの種類によって異なります。ページの上部には、選択したテスト タイプ (モデル ベース または スクリプト ベース) と、テスト タイプに適切なモデルまたはスイートが表示されます。テストの種類に応じて、以下の適切な手順に従ってください。
モデルベースのテストタイプのステップ/アクションの構成
モデル ベース テスト タイプの場合、利用可 能な探索的テスト ケース セレクターが表示されます。セレクター ボタンをクリックすると、探索的テストを追加するオプション (探索的追加) が表示され、モデルで使用可能なテスト ケースがリストされます。
-
利用可能な探索的およびテスト ケース セレクターから探索的テストまたはテスト ケースを追加することを選択します。ページの右側にある 追加されたステップ リストに追加される内容は、選択したテストの種類によって異なります。
-
探索的 テストの場合、以下に示すように、反復、カバレッジ、時間 (時間) の数を指定できる探索的テスト オプションが表示されます。
ノート探索的ステップの場合、停止基準は常に期間、反復、または目標カバレッジによって設定されます。テストがステップを使い果たした後、Eggplant DAIは各ステップの実行を検討し、テスト構成が成功か失敗かを示します。
-
テスト ケースの場合は、テスト ケースが表示されます。
-
-
テスト構成で実行するすべてのテストを追加するまで、上記の手順 1 を繰り返します。
-
次へ をクリックして ステップ 3: 詳細設定 ページに進み、そのページの指示に従います。
Configuring steps/actions for Script based test types
スクリプト ベース テスト タイプの場合、スクリプト化されたテスト ケースの選択 セレクターが表示されます。セレクター ボタンをクリックすると、使用可能なスクリプト化されたテスト ケースがリストされ、検索... バーが表示されるため、テスト ケースの長いリスト がある場合に名前で検索できます。
-
リストからスクリプト化されたテスト ケースを選択するか、検索バーで名前で検索して選択します。テスト ケースが右側の ステップ追加 リストに追加されたことがわかります。
-
テスト構成で実行するスクリプト化されたテスト ケースをすべて追加するまで、上記の手順 1 を繰り返します。
-
[次へ] をクリックして [ステップ 3: 詳細設定] ページに進み、次のセクションに進んで設定の詳細を確認します。
ステップ 3: テスト構成の詳細設定を構成する
[詳細設定] ページにアクセスすると、次のオプションがあります。
-
テスト構成を作成する場合は、テスト構成の作成 ボタンをクリックします。詳細については、「テスト構成の作成を完了する」(#finish-creating-a-test-config) を参照してください。
-
テスト構成で失敗およびエラーが発生したテスト ス テップの自動再実行を有効にする場合は、失敗およびエラーが発生したテスト ステップを自動的に再実行する の横にあるスライダーをクリックします。テスト構成を再実行するように DAI を構成する方法の説明については、再実行の有効化 を参照してください。
-
電子メール通知を有効にして、完了したテスト構成の実行について通知する場合は、通知の管理 -> をクリックします。通知設定ページが開きます。
[受信者] ボックスで通知を受け取りたいユーザーを選択し、受信者に通知したいステータスを選択します。
テスト構成の作成を完了するには、以下の テスト構成の作成を完了する を参照してください。
テスト構成の作成を完了する
テスト構成の作成が完了したら、右下隅にある テスト構成の作成 ボタンをクリックします。 DAI によって新しいテスト構成が保存され、テスト構成 ページが開きます。新しいテスト構成がリストに表示されますが、表示するにはスクロールまたは検索する必要がある場合があります。
再実行の有効化
再実行機能を使用すると、失敗したりエラーが発生したりしたテストステップを、テスト構成全体を実行することなく最大50回まで自動的に再実行することで、時間と労力を節約できます。テストステップは、モデルベースのテストケース、スクリプトベースのテストケース、または探索的テストである可能性があります。
失敗したりエラーが発生したりしたテストステップの再実行機能を有効にするには：
-
Automatically rerun failed and errored test stepsのトグルを右にスライドして再実行を有効にします。（緑色のチェックがオプションが有効であることを示します。）
-
以下のコントロールで再実行パラメータを設定します：
- Number of Runs：失敗またはエラーが発生したテストステップの最大再実行回数を指定します。この値はテキストボックスまたはスライダーを使用して調整でき、最大で50回の再実行が可能です。
- Wait Duration：各再実行の間隔を定義し、再実行プロセスを最適化します。秒単位で測定される時間間隔をドロップダウンリストから選択します。デフォルトはゼロに設定されており、待機時間はありません。
この合理化されたプロセスにより、再実行を効果的に管理し、テストワークフローを強化できます。
- 選択した再実行回数と待機時間は、再実行機能を非アクティブにしても保存されます。これにより、後で再度有効にする際に再設定する必要がなくなります。
- 再実行統計は、Controller menuの**ランナーページ**で完了した再実行の合計を表示してアクセスできます。 各テスト結果を展開してこの情報を見つけます。
テスト構成の実行
**コントローラー > ランナー**から実行したいテストに対して 
をクリックすることで、テスト構成を実行できます。
**コントローラー > ランナー**に移動して、定期的に実行される特定の頻度でテストスケジュールを設定します。テスト構成ごとに1つのスケジュールのみ設定できます。
テストを実行する前に常にスイートをモデルに関連付けることを忘れないでください。
テスト構成スケジュールの一部であるテスト実行を中止すると、その構成スケジュールに属する_すべて_の実行が中止されます。
テスト構成実行のためのEggplant Functional停止および再起動設定
テスト構成を実行する際、以下の環境変数を使用して、Eggplant Functional（EPF）を再起動するまでの実行時間、またはポーリング時間停止および再起動の猶予期間を設定できます：
| 環境変数 | デフォルト | 説明 |
|---|---|---|
RESTART_EPF_AFTER_SECONDS | 1800 | EPFが起動してから次のEPF再起動までの期間。この変数は、現在のステップが終了した後、次のステップに移動する前に有効になります。DAI Run Agentで実行されるテスト構成にのみ適用されます。ライブ実行中は、EPFは再起動せずに継続して実行されます。デフォルト：30分。 |
EPF_QUIT_POLL_TIME_SECONDS | 20 | 再起動プロセス中のEPF停止の猶予期間。 |
EPF_RESTART_POLL_TIME_SECONDS | 120 | EPFが停止した後の起動までの猶予期間。EPF_RESTART_POLL_TIME_SECONDSはEPF_QUIT_POLL_TIME_SECONDSを含みません。 |
既存のテスト構成の表示、編集、通知設定
テスト構成を表示または編集するには：
- Controller > Test Configに移動します。
- 更新または表示したいテスト構成を見つけて、 アクション メニューから 編集 を選択します。
- ここからテスト構成の詳細を表示または更新できます。
- さらに、
リンクをクリックして、テスト構成の通知設定を管理することもできます。
既存のテスト構成の通知設定
テスト構成の通知は、特定のテスト構成内で通知を設定する前に、DAI全体で有効にする必要があります。これを行うには、管理者である必要があります。詳細については、DAI設定の管理を参照してください。
デフォルトでは、すべてのテスト構成の通知機能は無効になっています。 有効にするには、以下の手順に従ってください：
- Controller > Test Configに移動します。
- 找到您感兴趣的测试配置，然后从 操作 菜单中选择 编辑。
- リンクをクリックします。
- ここから、通知機能を有効/無効にし、通知を受け取るために検証済みユーザーを割り当てることができます。
- 此外，您还可以通过从各种选项中进行选择来管理您希望接收的通知类型。
- 受信者のルールは次の通りです：
- 機能がenabledの場合、保存する前にat least one受信者を選択する必要があります。
- 機能がdisabledの場合、フィールドを空白のままで保存できます。
- 这些是通知类型的规则：
- 機能がenabledで、すべてのチェックボックスの選択を解除した場合、機能はdisabledのステータスに切り替わります。
- 機能がdisabledで、すべてのチェックボックスが未選択の場合、機能をenabledに切り替えると、デフォルトですべてのチェックボックスが選択されます。
テスト構成の削除
既存のテスト構成を削除するには：
- Controller > Test Configに移動します。
- 削除するテスト構成を見つけて、 アクション メニューから 削除 を選択します。
- ここからテスト構成の詳細を表示または更新できます。
既存のテスト構成の複製
既存のテスト構成を複製するには：
- Controller > Test Configに移動します。
- 找到您要复制的测试配置，然后从 操作 菜单中选择 复制。
- ここで、新しいテスト構成の名前を入力する必要があります。
- 有効な名前を入力したら、Createをクリックします。
- ここから、新しく複製されたテスト構成を編集することができます。
- 複製されるテスト構成と同じ名前を入力しないように注意してください。
- 新しい名前には次のルールが適用されます：
- 2〜100文字の英数字。
- 空白とダッシュは許可されますが、名前の先頭または末尾ではなく、他の英数字の間でのみ使用できます。
- その他の特殊文字は使用できません。
- 受け入れ可能な名前の例：
- New Test Config
- New-Test-Config
- New-Test
- New Test 2