Autoscanを使って画像を取得する

Eggplant Functionalのオートスキャン機能は、現在のテスト対象システム（SUT）の画面上のすべての要素を自動的に検出し、複数の画像を素早く保存できます。オートスキャンセッションでは、画面上で画像として取得する可能性のあるエリアを見つけ、それらを強調表示し、画像の編集や保存ができます。

また、オートスニペット機能を使用して、オートスキャンセッションからSenseTalkスニペットを生成することができます。これらのスニペットは、スクリプトのモジュール化に役立つだけでなく、Eggplant AIのスニペットにも使用できる短いコードです。

先端

オートスキャンは現在のSUT画面上のすべての要素を取得しますが、異なる画面上の画像を1回のセッションで取得することはできません。アプリケーションで2つの異なる画面上の画像を取得する必要がある場合、または画面をスクロールしたり、現在の画面の状態を調整する必要がある場合は、別のオートスキャンセッションを作成する必要があります。

Rapid Image Captureは、画像数が限られているユーザーや、SUTの異なる画面間で画像を取得する必要があるユーザーや、スニペットを生成する必要がないユーザーに適しています。

ステップバイステップ：オートスキャンセッション

オートスキャンセッションは、ライブモードまたはキャプチャモードのどちらからも開始できます。ライブモードでは、Eggplant FunctionalはSUT画面全体をスキャンして、潜在的な画像を見つけます。キャプチャモードでは、キャプチャエリアまたは画面全体をスキャンすることができます。

1. SUTに接続します。接続が完了すると、SUTがビューアウィンドウに表示されます。

   • キャプチャモードで作業している場合は、スキャンするSUT画面のエリアを含めるようにキャプチャエリアを調整します。

2. オートスキャンセッションを開始します：

   • メインメニューから、Control > Start Session > Autoscan Entire Screen または Control > Start Session > Autoscan in Capture Area（このオプションはキャプチャモードでのみ利用可能）を選択します。
   • ビューアウィンドウから、Start Session > Autoscan Entire Screen または Start Session > Autoscan in Capture Area（このオプションはキャプチャモードでのみ利用可能）をクリックします。

   スキャンが完了すると、Eggplant Functionalはスイートウィンドウのセッションタブを開きます。オートスキャンが最新のセッションとしてリストの先頭に表示されます。

3. セッションに名前を付けて、Enterキーを押します。Session Nameフィールドは、名前変更を簡単に行えるように既にハイライト表示されています。Enterキーを押すと、セッションが開き、スキャンした画面のエリアが表示され、潜在的な画像が青い矩形で強調表示されます。現在選択されている要素は緑色で強調表示されます。

   ノート

   この時点で、スキャンは取得したい画像を決定しましたが、まだ画像ファイルは生成されず、スイートに追加されていません。以下の手順をすぐに進めてこのプロセスを完了させることもできますし、後でセッションタブに戻って、セッションから画像とコードスニペットを生成することもできます。

4. 各検出された要素に対して、スイートに生成したい画像かどうかを決定し、画像キャプチャのベストプラクティスを使用して矩形やその他の設定を調整します。

   キャプチャモードで実行されたオートスキャンセッション。

   オートスキャンセッションから検出された要素。左側に現在選択されている要素（緑の矩形）

   • ハイライト矩形の右下隅をドラッグしてサイズを調整します。
   • 矩形内の任意の場所をクリックしてドラッグして、位置を変更します。
   • ハイライト矩形の左上隅にあるXをクリックして削除します。
   • スキャンで検出されなかった要素の画像を作成したい場合は、中央のペインでスキャンの任意の場所をクリックして新しいハイライト矩形を作成します。
   • 画像のホットスポットを移動するには、赤い十字線をCtrl+クリックまたはCtrl+ドラッグ（MacではCmd+クリックまたはCmd+ドラッグ）します。たとえば、フィールドのテキストラベルの画像をキャプチャして、ホットスポットをフィールドに移動することができます。これにより、画像では表現が難しいフィールドでアクションを実行できます。
   • 画面下部の虫眼鏡アイコンを使用して、スキャンエリアを拡大/縮小します。
   • 右列の上部にあるImage Nameフィールドに、画像の名前を入力します。各要素には、image005のような形式でデフォルトの名前が最初に割り当てられます。スイートに多くの新しい画像を追加する場合、特に意味のある説明的な名前で適切な命名戦略に従ってください。
   • 組織の容易さのために、画像の**タグを追加して作成することができます。セッションで作成されたすべての画像に選択したタグを適用するには、右上のTags**フィールドの右にあるタグアイコンをクリックします。

   画像は、デフォルトでスイートのImagesフォルダに保存されます。Whereドロップダウンメニューを使用して、その場所を変更することができます。ここで画像コレクションを作成することもできます。Eggplant Functionalがスイート内で同じ画像または非常に類似した画像を検出した場合は、新しい画像を作成する代わりに既存の画像を使用するオプションがあります。

   Eggplant Functionalが検出した要素のいずれかを光学文字認識（OCR）を使用して読み取ることができる場合、Use OCRチェックボックスが要素のコード生成セクションの上にあるセッションウィンドウに表示されます。個々の画像に対してOCR検索を使用するには、画像検索の代わりにチェックボックスを選択します。entire sessionのデフォルトの検索タイプとしてOCRを使用するには、Use OCRチェックボックスをShift+クリックします。

   ノート

   この設定はセッション固有のものです。デフォルトやセッション間で保存されません。この設定は、セッションを閉じてから同じセッションに戻った場合も維持されません。

   先端

   OCRを使用する必要があるのは、オートスキャンセッションからオートスニペットを生成し、画像検索ではなくテキスト（OCR）検索を行うコードを生成したい場合だけです。

   Use OCRを選択すると、追加のOCRチューニングプロパティが表示されます。

   **DPI：**デフォルトでは、OCRは検索のために72 DPIの画面解像度を使用します。SUTの解像度が大幅に異なる場合は、検索のためにDPIを調整する必要があります。

   **Valid Words:**このパラメータは、OCRエンジンが認識する単語を制限します。デフォルトでは、エンジンは現在のテキストプラットフォームで使用可能な言語（または言語）の単語のすべてを使用します。アスタリスクをワイルドカードとして使用して、OCRエンジンが元のテキスト文字列内の単語のみを検索するようにすることができます。

   **Valid Characters:**このパラメータは、OCRエンジンが認識する文字を制限します。デフォルトでは、エンジンは現在のテキストプラットフォームで使用可能な言語（または言語）の文字のすべてを使用します。アスタリスクをワイルドカードとして使用して、OCRエンジンが元のテキスト文字列内の文字のみを検索するようにすることができます。

   **Valid Pattern:**このプロパティは、正規表現の値を取る文字列で、指定されたパターンに一致する文字または単語のみを返します。

   Contrast: OCRがReadText()矩形を平坦で2色の画像として扱う場合は、このチェックボックスを選択してください。このオプションは、アンチエイリアステキストを扱う場合に役立ちます。SUTの画面をフィルタリングして、OCRエンジンに対して2トーンとして表示されるようにします。コントラストは次の設定に依存します：

   • Contrast Tolerance: 選択された色のRGB値からどれだけピクセルが異なっても、主要な色とみなされるかを測定します。

   • Color: カラーウェルをクリックし、Colorsパネルを使用して新しい色を選択します。OCRは、この色をReadText()矩形の主要な色として扱います。一般的には、この選択に背景色を選択することが推奨されます。

     先端

     ヒント：** Colorsパネルのカラーピッカーを使用して、表示画面の任意の場所から色をコピーできます。これには、Viewerウィンドウも含まれます。Colorsパネルの虫眼鏡をクリックし、コピーしたい色が見える場所で再度クリックします。

   **Enhance Local Contrast:**画像のローカルコントラストを自動的に高める場合は、このチェックボックスを選択してください。

   **Enable Aggressive Text Extraction:**画像からできるだけ多くのテキストを抽出する場合は、このチェックボックスを選択してください。

   **Case Sensitive:**大文字と小文字を区別する検索を有効にするには、このチェックボックスを選択してください。

   **Ignore Spaces:**検索中に文字間のスペースを無視するようにOCR検索を設定するには、このチェックボックスを選択してください。

   **Ignore Lines:**検索中に改行を無視するようにOCR検索を設定するには、このチェックボックスを選択してください。

   **Language:**このドロップダウンメニューを使用して、OCR認識言語を追加または削除します。OCR検索で複数の言語を選択できます。追加の言語を有効にするには、Eggplant > Preferencesに移動し、Textをクリックして、Enabled Languagesまでスクロールします。

   検出された要素を移動するには、セッションタブの右側にある上下矢印を使用できます。また、中央ペインのスキャン内の矩形をクリックして、リスト内のその要素を選択することもできます。保持したい要素をすべて処理し、保持しない追加の要素がある場合は、Delete unnamed imagesボタンを使用して不要なものを削除できます。

   ノート

   矢印を使用するか、中央ペインで直接要素を選択すると、デフォルトの名前が自動入力されます。その時点で、Delete unnamed imagesボタンを使用しても削除されません。ただし、必要でない場合は、矩形の左上隅のXをクリックして、それらの要素を削除できます。

5. 不必要な画像を削除した後、スクリプトのスニペットをセッションから生成し、デスクトップのSUTに対して作業する場合は、要素リストの下にあるClassify Imagesボタンをクリックして、画像のElement Typeを設定します。 これは、デスクトップのSUTに対して作業する場合にのみ必要であり、この情報はモバイル接続で自動的に入力されます。 自動分類がElement Typeを決定できない場合は、「なし」に設定されます。

   ノート

   自動分類は、標準インターフェイスで動作するようにトレーニングされています。 非標準インターフェイスを使用している場合は、Element Typeを手動で操作する必要がある場合があります。 画像の一部を分類できなかった場合でも、再度自動分類を実行して、次のパスでElement Typeが選択されるかどうかを確認できます。 すでに分類された画像（以前にElement Typeが設定されていたもの）は、再度画像の分類をクリックしても影響を受けません。

   Element Typeドロップダウンリストから選択できる要素のタイプは次のとおりです。

   • None: 画像を生成するが、コードは生成しない。
   • Checkpoint: 要素の存在を確認するために使用できる2つのハンドラを生成します。
   • Button: 要素をクリックするためのハンドラを生成します。
   • Field: フィールドにテキストを入力するためのハンドラとフィールドからテキストを読み取るためのハンドラの2つを生成します。
   • Checkbox: チェックボックスを選択するためのハンドラを生成します。
   • RadioButton: ラジオボタンを選択するためのハンドラを生成します。
   • DropDown_Mobile： モバイルデバイスSUTおよびモバイルブラウザ用に最適化されたハンドラを生成し、ドロップダウンメニューからアイテムを選択します。
   • DropDown_Desktop： デスクトップSUTおよびブラウザー用に最適化されたハンドラを生成し、ドロップダウンメニューからアイテムを選択します。

6. 要素リストを調べ、コードスニペットを生成するすべての画像のElement TypeおよびElement Nameを設定します。 必要に応じて要素タイプを調整し、自動分類で決定されなかった画像に設定します。 スキャンがAndroid GatewayまたはiOS Gatewayを介したモバイルデバイスSUTからの場合、この情報は自動的に入力される場合がありますが、情報が意図した使用方法と一致することを確認してください。 Eggplant Functionalがこの情報を使用してコードスニペットを生成する方法の詳細については、Eggplant FunctionalのAutosnippet Generationを参照してください。

7. スイートに追加するすべての画像を特定および更新したら、Imagesチェックボックスが選択されていることを確認します。 スニペットコードも生成する場合は、Scriptチェックボックスが選択されていることを確認してください。 （Autoscanセッションを使用して、画像またはスニペットを単独で生成したり、両方を一緒に生成したりできます）。 次に、Generateをクリックします。 Eggplant Functionalは、選択した名前で画像を保存します。

高度なプロパティ

Eggplant Functionalには、Autoscanプロセスを微調整するための高度な機能があります。 ウィンドウの下部にあるスライダーを使用して、スキャンの粒度を広く調整します。 グラニュラリティを大きくするには、スライダーを左に移動して、より多くの/より小さな四角形を作成します。 グラニュラリティを小さくするには、スライダーを右に移動して、より少ない/より大きな四角形を作成します。

より正確な制御のために、スライダーの左側の下矢印をクリックして、詳細プロパティウィンドウを開きます。

以下のプロパティを調整できます：

• Dilation: 提案された画像の周りのボックスのサイズを増減させます。異なるサイズの要素をキャプチャするために隣接するボックスを組み合わせるのに使用できます。
• Adaptive Constant: この設定を調整することで、ぼやけた画像やコントラストが少ない画像のノイズを除去するのに役立ちます。
• Min Size: 提案された画像の幅または高さの最小サイズ（ピクセル単位）を設定します。このサイズより小さい可能性のある画像が見つかった場合、それらは無視されます。
• Max Size: 提案された画像の幅または高さの最大サイズ（ピクセル単位）を設定します。このサイズより大きい可能性のある画像が見つかった場合、それらは無視されます。

ノート

Android GatewayまたはiOS Gatewayを介して接続されたモバイルデバイスSUTの場合、Element Typeは、基になるオブジェクトモデルから自動的に検出されることがあります。このような場合、粒度スライダーと詳細プロパティウィンドウは利用できません。ただし、右側の列で必要に応じて四角形を手動で変更し、他の画像プロパティを編集することもできます。