本コラムでは実際に活用されているレシピ（シナリオ）を題材にしつつ、RPA（EzRobot）を組む際の考え方やコツなどをご紹介させて頂きます。
中級～上級者向けとして存在している拡張機能は一切使用せず、基本機能のみで簡単に組める内容で解説します。
・RPAの組み方がわからない、難しい
・組んだRPAが止まる、動かない
といったお悩みも解決できるよう、業務改善のヒントとなりましたら幸いです。
なお、基本機能の各機能の動作の詳細や使い方については本コラムの趣旨から外れる為割愛いたします。
（※契約者様やトライアルユーザー様向けにはEzRobotユーザーサイト上のコンテンツやEzRobot操作マニュアルで情報を提供させていただいております。）
今回はEzRobotの基本機能のひとつである画像認識で起こりがちなトラブルについて解説させていただきます。
前回の「RPA（EzRobot）簡単な組み方、コツをご紹介 １-１」では、この画像認識を使っておりました。これが上手く行かない場合のトラブルシューティングになります。
画像認識について
画像認識には
- マウス操作（クリック・ダブルクリック・右クリック・カーソル移動・ホイールダウン・ホイールアップ・ドラッグ＆ドロップ）
- 画像待機（現れるまで・消えるまで・変化するまで・変化がなくなるまで）
- 条件分岐（ある場合・ない場合）
- 繰り返し（消えるまで・現れるまで）
が、基本機能として備わっています。
前回作成したシナリオではオレンジフォーム画面の「リスト上のチェックボックスにチェックがあるかどうか」といったように画像を判別しておりました。
・条件1）チェックが無いものは作業をする
・条件2）チェックが有るものは作業をしない
という画像認識による条件分岐の機能を使用しますが、この画像認識が想定通りに動かない場合があります。
画像認識による「RPAが止まる・動かない・誤動作」などの主な原因と解決法
画像認識が正しく動作しない原因として主に以下の様なケースが挙げられます。
原因とその対応方法を記します。
・画面上の、他の箇所の画像を認識してしまう
⇒画像の範囲や精度などを調整し、他の箇所の画像を認識しないように設定
・画面上の拡大率・縮小率が設定時と相違している
⇒常に100％表示でPCを使用するなどで、設定を変えないようにする。変えた場合には戻す
・webやソフト等のレイアウト変更により、設定時と相違している
⇒レイアウト変更があった場合には、画像を再取得する
・何かのポップアップ等が表示されてしまい、指定していた画像が画面上から隠れてしまった
⇒ポップアップが出ないように設定。出てくるタイミングが分かっているのであればRPA動作中に閉じるよう組み込む
・画面上に、出てくるはずの画像がない（ウィンドウサイズのミス等）
⇒最後に閉じた際のサイズが次回起動時のサイズになるはずなので、ウィンドウを開いた際には最大化（windows＋↑等のショートカットキーを挟む）を入れる等で対処
シナリオ作成時と実際にロボットを動作する際に、画面上の構成で大きな差異があった場合はうまくいかないケースがあります。上記のようなエラーが起こらないように意識しましょう。
画像認識のコツ
今回のケースで特に意識したいのは
- 画面左側に同様のチェックボックスがある
- 縦列に並んで、チェック有/無の項目が並んでいる
- ２つ以上がチェック無しだった場合にも対応できるように
という点です。
画像認識の範囲や精度を意識して、他の箇所を誤認識してしまわないように意識しましょう。
いくつかの画像認識の範囲選択例を用意しました。画像認識を行う範囲を調整することで、想定通りの動作にすることも可能です。逆に安易に範囲を決めてしまうと、想定しない動作になってしまうことになります。
例１）チェックボックスの周りだけ選択
この選択範囲ですと、左側のチェックボックスとの差異が全く無いため同様の画像として認識してしまいます。
例２）チェックボックスの左に少しはみ出す形で選択
幾分マシになりましたが、精度次第では左側のチェックボックスも同様の画像として認識してしまいます。
例３）ヘッダ部分を含めて選択
左側のチェックボックスと誤認されることはありませんが、一番上のチェックボックスしか判別しないので、上から二番目以降にもチェック無しがあった場合に対応できません。
例４）チェックボックスの右に範囲を広げて選択
画像の選択範囲が広くなった分、チェック済みとチェック無しの差異がRPAから差異として認識されにくくなっています。精度を上げないとチェック済の項目も同様の画像として認識してしまいます。
例５）チェックボックスの右にやや範囲を広げて選択
「編集」というボタンが少し入る形で、例４）よりも範囲を狭めました。こちらが一番安定しそうです。
画像認識における「精度」について
先に出て来た画像認識における「精度」とは「選択した画像範囲内の一致率」を示すものとなります。
- 精度を上げることによって、より精密な画像判定
- 精度を下げることにより、多少の誤差があっても判定される
という動作を行います。
先ほどの画像の選択範囲と合わせて、この精度の使い方次第で、様々なケースに対応できる非常に便利な機能となっておりますので、是非使いこなして頂けますと幸いです。
まとめ
画像認識による操作や条件分岐等のRPAの動作制御は、様々な箇所で使用することが可能です。
例えば下記の工程内でしたら「3.データ編集画面へ移動」の工程の際などに画像クリック、画像待機等を使用して実際にレシピ（シナリオ）を組んでいくことが可能です。
簡単に組んでいく事が可能であると共に、どのようなWindowsアプリに対しても操作が可能ですので、是非「画像認識による作業」を使いこなして頂けますと幸いです。
- タスクスケジューラでロボット起動
- オレンジフォームにログイン
- データ編集画面へ移動
- 画像による条件分岐開始（チェックがない場合）
- 作業開始（※後ほど解説します）
- 画像による条件分岐終了（チェックがない場合）
- 画像による条件分岐開始（チェックがある場合）
- 画像による条件分岐終了（チェックがある場合）
- 表示したブラウザを閉じる
- ロボット終了
次回コラムでは、上記の「作業開始」の内容について、組み方の構想をご紹介させて頂きます。
RPA（EzRobot）簡単な組み方、コツをご紹介 １-３へ
最後に
RPA EzRobotは【低価格・劇的にカンタン・手厚いサポート】が特徴のRPA製品です。
「どのようにレシピを組めば良いかわからない」といった際でも、サポート（電話/チャット/メール/Web会議等）にてご相談を承っております。
また、弊社にて作成済のレシピ（シナリオ）を無料でダウンロードして微調整のみですぐに使うことが可能です。（こちらは契約者様向けサポートサイト「EzRobotユーザーサイト」からダウンロードできます。）
是非、お気軽にお問合せください。
