自動化テストの実行
ビルドパイプラインにテスト自動化を追加することは、継続的インテグレーションをサポートし、できるだけ早く新機能を実装してテストすることを可能にします。
Eggplant DAIでは、コマンドラインからテストのセット、またはテスト構成をトリガーすることができます。これを行うには、CLIツールをインストールして実行する必要があります:
-
ご使用のプラットフォームのCLIをダウンロードします。以下のプラットフォームがサポートされています:
- Windows
- OSX:Big SurとMonterey
- Linux:CentOS 7とUbuntu 16。
-
コマンドラインから
.exe
を実行します。テスト構成の実行を参照してください。.exe
はテスト構成が完了するまで実行されます。- テスト構成が正常に実行される場合、終了コード
0
で完了します。 - 他の終了コードはテスト構成が失敗したことを示します。
- テスト構成が正常に実行される場合、終了コード
テスト構成IDによるテスト構成の実行
テスト構成を作成する際、各テスト構成には一意の識別子(TEST_CONFIG_ID
)が割り当てられます。
このIDを取得するには、Controller > Test Configに移動し、実行したいテスト構成を編集します。TEST_CONFIG_ID
の値はURLに追加されます。
。
その他の必須オプション:
Parameter | 値 説明 |
---|---|
SERVER_URL | Eggplant DAIサーバーのURL。例:https://myeggplantserver.com |
--client-id <CLIENT_ID> --client-secret <CLIENT_SECRET> | インストール中に設定されたクライアントシークレットペアを取得します。 セキュリティ上の理由から、コマンドラインで資格情報を渡す代わりに DAI_CLIENT_SECRET 環境変数を設定することが推奨されます。 |
コマンドラインで以下のコマンドを実行します:
eggplant-runner-Windows-6.1.2.exe <SERVER_URL> <TEST_CONFIG_ID> --client-id=<CLIENT_ID> --client-secret=<CLIENT_SECRET>
より詳細な設定については、詳細オプションを参照してください。
テスト構成名によるテスト構成の実行
また、DAIサーバーで設定されたテスト構成名とそのモデル名またはSuite名を使用してテスト構成を実行することもできます。この情報はController > Test Configから見つけることができます。
その他の必須オプション:
Parameter | 値 説明 |
---|---|
SERVER_URL | Eggplant DAIサーバーのURL。例:https://myeggplantserver.com |
--client-id <CLIENT_ID> --client-secret <CLIENT_SECRET> | インストール中に設定されたクライアントシークレットペアを取得します。 セキュリティ上の理由から、コマンドラインで資格情報を渡す代わりに DAI_CLIENT_SECRET 環境変数を設定することが推奨されます。 |
モデルベースのテスト構成
Modelベースのテスト構成を実行するには、テスト構成から以下のオプションの値を取得します:
Parameter | 値の説明 |
---|---|
--test-config-name <TEST_CONFIG_NAME> | 実行したいDAIのテスト構成名。 |
--model-name <MODEL_NAME> | 指定されたテスト構成のDAIモデル名。 |
コマンドラインで以下のコマンドを実行します:
eggplant-runner-Windows-6.1.2.exe modelbased <SERVER_URL> --test-config-name=<TEST_CONFIG_NAME> --model-name=<MODEL_NAME> --client-id=<CLIENT_ID> --client-secret=<CLIENT_SECRET>
スクリプトベースのテスト構成
スクリプトベースのテスト構成を実行するには、テスト構成から以下のオプションの値を取得します:
Parameter | 値 説明 |
---|---|
--test-config-name <TEST_CONFIG_NAME> | 実行したいDAIのテスト構成名。 |
--suite-name <SUITE_NAME> | 指定されたテスト構成のDAISuite名。 |
コマンドラインで以下のコマンドを実行します:
eggplant-runner-Windows-6.1.2.exe scriptbased <SERVER_URL> --test-config-name=<TEST_CONFIG_NAME> --suite-name=<SUITE_NAME> --client-id=<CLIENT_ID> --client-secret=<CLIENT_SECRET>
より詳細な設定については、詳細オプションを参照してください。
詳細オプション
詳細オプションはオプションですが、テスト実行を微調整することができます。最新のリストについては、--help
オプションを実行してください。
オプション | 説明 |
---|---|
--request-timeout INTEGER | DAIサーバーへの各HTTPリクエストのタイムアウト(秒)。デフォルト:30 |
--request-retries INTEGER | DAIサーバーへの各HTTPリクエストの試行回数。デフォルト:5 |
--backoff-factor FLOAT | 各HTTPリクエスト間の指数バックオフ係数。デフォルト:0.5 |
--poll-interval INTEGER | DAIサーバーへの各呼び出し間の待機時間(秒)。デフォルト:5 |
--test-environment-timeout INTEGER | テスト環境の準備stateをチェックするタイムアウト(秒)。デフォルト:15 |
--log-level TEXT | ロギングレベル。デフォルト:INFO |
--ca-cert-path PATH | 代替証明書発行者pemファイルへのパス |
--test-result-path PATH | テスト結果がjunit xml形式で保存されるファイルへのパス |
--version | バージョン番号を表示して終了 |
--dry run / --no-dry-run | ドライランのみ実行。デフォルト:no-dry-run |