テスト結果の読み取り
Eggplant Functionalのテスト実行結果は、Eggplant Functional内部または私たちのテスト管理ツールであるEggplant Managerで直接見ることができます。Eggplant Managerはまた、複数のテスト実行結果を分析する機能も提供します。
Eggplant Functionalでの結果表示
結果ペインは、Suite Editorに現在のスイートで実行したテストの記録を含んでいます。各スクリプトについて、実行したすべてのテストの記録、各テストの完全な結果ログ、スクリプト実行中にキャプチャした画像があります。
スクリプト結果
Eggplant Functionalは、スイートの統計、実行履歴、ログファイルなど、さまざまな種類の実行データを 記録します。これらの異なるデータタイプとその用途については以下に説明します。
ログファイル
ログファイルは、スクリプト実行の詳細ログを含むプレーンテキストファイルで、各ログエントリに対して一行ずつあります。ログエントリには以下のタブ区切りの値が含まれます:
- Date and Time. このログエントリの正確な時間。
- Event Name. 実行されたコマンドや関数、または発生したイベントの名前。最後の行では、この値は
Success
またはFailure
です。 - Image Name. このイベントに使用された画像の名前。または入力されたテキスト。
- Location. 画像のホットスポットが見つかったスクリーンの位置。または他の情報。
- Line Number. ハンドラ内の行番号。
- Handler Name. このログエントリを生成したハンドラの名前。
- Script Name. ハンドラを含むスクリプトのパス名。
ログファイル(LogFile.txt)にアクセスするには、結果ペインのスクリプト実行に関連するLog列の矢印をクリックします。
実行履歴
RunHistory.csvファイルは、スクリプトの実行をすべて要約したカンマ区切りのテキストファイルで、各実行に対して1行ずつあ ります。このファイルの最初の行は各フィールドを識別します:
- Date Run. 実行の日付と時間。
- Status. 実行のステータス。
- Time. 実行の経過時間(期間)。
- # of Errors. 実行中に発生したエラーの数。
- # of Warnings. 実行中にログされた警告の数。
- # of Exceptions. 実行中に発生した例外の数。
- Log File. 実行のLogFile.txtファイルへのフルパス。
- Return Value. 実行されたスクリプトが返した任意の値。
- Error Message. 実行が失敗した場合の最終エラーメッセージ。
この形式はExcelなどのスプレッドシートを含む多くのプログラムで読むことができます。各行の2つ目の項目(ステータス)はSuccessまたはFailureなので、このファイルの最後の行を単純に読むだけで、スクリプトの最新の実行が成功したかどうかを、個々の実行フォルダのLogFile.txtファイルを深く探すよりも簡単な方法で見つけることができます。
スイート統計
SuiteStatistics.csvファイルは、統計を生成した各スクリプトに対して1行ずつのカンマ区切り値ファイルです。各行のフィールドは次のとおりです:
- Script. ** スクリプトの名前。
- Last Status. このスクリプトの最新の実行に対するSuccessまたはFailure。
- Runs. このスクリプトの総実行回数。
- Fails. このスクリプトの実行が失敗に終わった回数。
- First Run. このスクリプトの最初の記録された実行の日付と時間。
- Last Run. このスクリプトの最新の実行の日付と時間。
- Avg Time(Success). スクリプトが成功したときの実行にかかった平均時間。(失敗した実行はこの時間に含まれていません。)
結果の報告
CSVファイル形式は、Excelなどのスプレッドシートプログラムに非常に簡単にインポートできます。このセクションでは、結果を扱う他の方法について説明します。
- RunWithNewResultsとThe Result。
RunWithNewResults
コマンドとResult
関数を使用して、ログに結果を書き込む方法を確認するには、主要なスクリプトからの実行を参照してください。 - The ScriptResults function. この関数は任意のスクリプトの
RunHistory.csv
ファイルを返します。スクリプトはオープンスイートに存在するか、完全なパス名を提供する必要があります。 - SendMail.
RunWithNewResults
またはscriptResults
関数と連携して使用すると、SendMail
コマン ドはテスト実行の結果をメールで報告することができます。 - JSONFormatと JSONValue関数。 これらの関数はテキストデータをJSONとSenseTalk形式間で変換し、他のプロセスと結果を共有するために使用できます。
- XMLRPCFormatと XMLRPCValue関数。 これらの関数はテキストデータをXML-RPCとSenseTalk形式間で変換し、他のプロセスと結果を共有するために使用できます。
結果報告のためのSenseTalkの使用
結果報告に役立つ追加のSenseTalk機能:
- The Merge function. これは、HTMLやRTF形式のレポートなど、テンプレートを使用して洗練された書式付き文書を作成するために使用できます。
- File-reading and writing. SenseTalkのファイル読み書き機能は、Eggplant Functionalコンピュータにマウントされている任意のファイルシステムに結果を書き込むために使用できます。これには、ネットワークドライブも含まれます。詳細については、ファイルとフォルダの操作を参照してください。
- URLアクセス機能。 これらを使用して、Webインターフェースを通じてリモートファイルにアクセスできます。
- Open Socket、Read From Socket、Write To Socketコマンド。 これらのコマンドは、スクリプトがネットワーク上の別の実行中のプロセス(ソケットインターフェースがある場合)と直接通信することを可能にします。詳細については、Socket、Process、およびStream Input and Outputを参照してください。
- Shell関数。
Shell
関数は、スクリプトがUnixコマンドを実行することを可能にします。これには、テスト結果の値を他のプロセスに渡すことも含まれます。 - DoAppleScriptコマンド。 このコマンドは、Eggplant Functionalコンピュータ上のAppleScript可能なプログラムやネットワーク上の他のMac OS Xコンピュータと対話するために使用できます。Excelスプレッドシートの充填やWordドキュメントの生成などが可能です。また、
DoAppleScript
関数もあります。
Eggplant Managerでの結果の閲覧
Eggplant Managerは、Eggplant Functionalテスト結果を収集し分析する最も簡単で最良の方法 です。
このテスト管理ツールはブラウザベースのアプリケーションで、Eggplant Functionalスイートを一元的に制御する機能を提供します。テストの定義、複数のテストの同時実行のスケジューリング、結果の収集と分析のための中央ロケーションを提供します。
Eggplant Managerで結果を閲覧する詳細については、Eggplant Managerダッシュボードとテスト結果の閲覧のドキュメンテーションをご覧ください。