スポンサーリンク

SikuliXでクリック(click)のオフセット(offset)と認識精度を設定

SikuliXでクリック(click)のオフセット(offset)と認識精度を設定

 

★悩み★
・SikuliXでクリック(click)のオフセット(offset)を設定できる?
・SikuliXが誤った画像を認識するけど、精度を上げられない?
・クリック(click)する画像のオフセット(offset)と認識精度を調整できる?



こういった「悩み」に答えます。
 

★本記事の内容★
① SikuliXのクリック時(click)に利用する画像設定
➁ 準備:SikuliXのインストールと起動
③ SikuliXでクリック(click)時のオフセット(offset)を設定
④ SikuliXでクリック(click)時の画像認識精度(similar)を設定



これからご紹介する「SikuliXでクリック(click)のオフセット(offset)と認識精度を設定」を実践したことで、5分以内で「SikuliXで自動化した操作の精度」を高めることができました(下の動画参照)。
 

SikuliXでクリックclickのオフセットoffsetを設定
SikuliXでクリック(click)時のオフセット(offset)を調整



記事の前半では「SikuliXのインストールや起動といった環境の準備」を解説します。
記事の後半では「SikuliXのクリック(click)時に指定した画像のオフセット(offset)と認識精度を調整する方法」を紹介します。
 

この記事を読み終えることで、「SikuliXで画像を用いた操作の精度」を向上できる状態になります。
 

★SikuliXとは★
SikuliX(シクリ)とは、画像認識を用いたGUI操作自動化ツールです。簡単な操作で「エクセル入力の自動化」などに利用できます。「検索ボックスに検索ワードを入力して検索ボタンを押す」などの操作を自動化できます。


 

SikuliXのクリック時(click)に利用する画像設定

SikuliXのクリック時(click)に利用する画像設定


「SikuliXのクリック時(click)に利用する画像設定」に関してご紹介します。
 

★SikuliXでクリック(click)操作を自動化★
・SikuliXで自動化できるクリック(click)操作について
・クリック(click)したい画像のオフセット(offset)を設定とは?
・クリック(click)したい画像の認識精度を設定とは?



以降で、上記「SikuliXでクリック(click)操作を自動化」の各項目に関してご説明します。
 

SikuliXで自動化できるクリック(click)操作について

「SikuliXで自動化できるクリック(click)操作について」説明します。
 

SikuliXを使うことで、自動化できるクリック操作(click)をご紹介しますね。



SikuliXを使うことで、マウスのクリック操作を自動化できます。

SikuliXでマウス操作を自動化する手順を知りたい方には、以下の記事がオススメです。
>> SikuliXでマウスのクリックや移動操作を自動化
 

以上が、「SikuliXで自動化できるクリック(click)操作について」となります。
 

クリック(click)したい画像のオフセット(offset)を設定とは?

「クリック(click)したい画像のオフセット(offset)を設定とは?」に関して説明します。
 

「SikuliXにおけるオフセット(offset)とは?」から「使うべき場面」に関して簡単に解説しますね。



SikuliXにおける「クリック(click)時のオフセット(offset)」とは、以下になります。
 

★SikuliXでのオフセット(offset)とは★
ITの分野では、何かの位置を指し示す際に、基準となる位置からの差(距離、ズレ、相対位置)を表す値のことをオフセットということが多い。(出展:IT用語辞典)
SikuliXでは、指定した画像のクリック(click)位置を補正できます。
「位置の補正」をSikuliXでは、「オフセット(offset)」と呼びます。



オフセット(offset)を使用するべき場面としては、以下があります。
 

★SikuliXでクリック(click)時のオフセット(offset)を使用するべき場面★
クリック箇所を変更したい場合にオフセット(offset)を調整しましょう。
例えば、「アイコンの右端ではなく、アイコンの中心をクリックするようにしたい」などです。



以上が、「クリック(click)したい画像のオフセット(offset)を設定とは?」となります。
 

クリック(click)したい画像の認識精度を設定とは?

「クリック(click)したい画像の認識精度を設定とは?」に関して説明します。
 

「SikuliXにおける認識精度とは?」から「使うべき場面」に関して簡単に解説しますね。



SikuliXにおける「認識精度」とは、以下になります。
 

★認識精度とは★
SikuliXでは、画像の認識精度を調整できます。
認識精度を高くすることで、「似た画像を区別」できます。



「認識精度」を調整するべき場面としては、以下があります。
 

★SikuliXでクリック(click)時の認識精度を調整するべき場面★
誤った画像を認識してしまうことが増えた場合に、認識精度を調整しましょう。
認識精度を高くすることで、画像の誤認識を抑止できます。



以上が、「クリック(click)したい画像の認識精度を設定とは?」となります。
 

SikuliXでは、「オフセット(offset)」や「認識精度」といった画像操作に対する細かい調整ができます。


 

準備:SikuliXのインストールと起動

準備:SikuliXのインストールと起動


「準備:SikuliXのインストールと起動」に関してご紹介します。
 

★SikuliXでオフセット(offset)と認識精度を調整するための準備手順★
手順1:SikuliXをインストール
手順2:SikuliXの起動



上記の流れで、「SikuliXで画像のオフセット(offset)と認識精度を調整するための環境準備」ができます。
 

上記の各手順は、以下の日時で動作確認済みです。
動作確認済み日時:2022年5月19日



以降で、上記「SikuliXでオフセット(offset)と認識精度を調整するための準備手順」の各手順に関してご説明します。
 

手順1:SikuliXをインストール

「手順1:SikuliXをインストール」に関して説明します。
 

お使いのパソコンにSikuliXをインストールしましょう。



「SikuliXをWindowsにインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
 

「macOS(Mac)にインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
 

以上が、「手順1:SikuliXをインストール」となります。
 

手順2:SikuliXの起動

「手順2:SikuliXの起動」に関して説明します。
 

インストールしたSikuliXを起動し、「オフセット(offset)と認識精度を使ったプログラム」を記載できる状態にしましょう。



「WindowsにインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
 

「macOS(Mac)にインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
 

以上が、「手順2:SikuliXの起動」となります。
 

Javaをインストールし、SikuliXのjarファイルをダウンロードすることで、簡単にSikuliXの環境を準備できます。
以降で、オフセット(offset)と認識精度を設定する方法に関して解説します。


 

SikuliXでクリック(click)時のオフセット(offset)を設定

SikuliXでクリック(click)時のオフセット(offset)を設定


「SikuliXでクリック(click)時のオフセット(offset)を設定」に関してご紹介します。
 

★SikuliXでクリック(click)時のオフセット(offset)を設定★
① クリック(click)時のオフセット(offset)を設定する方法
➁ クリック(click)時のオフセット(offset)を使ったプログラムを作成



SikuliXの「オフセット(offset)」を使うことで、画像のクリック(click)箇所を調整できます。
 

上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時:2022年5月4日
動作確認済み環境:macOS Catalina



以降で、上記「SikuliXでクリック(click)時のオフセット(offset)を設定」の各項目に関してご説明します。
 

クリック(click)時のオフセット(offset)を設定する方法

「クリック(click)時のオフセット(offset)を設定する方法」に関して説明します。
 

SikuliXでオフセット(offset)を設定する方法を図を用いて解説しますね。



起動したSikuliX上において、「スクリーンショットを撮る」(下図の赤枠)を押し、SikuliXでクリック(click)したい箇所を撮影しましょう。
  

クリック(click)時のオフセット(offset)を設定したい画像を撮影
クリック(click)時のオフセット(offset)を設定したい画像を撮影



続いて、オフセット(offset)を設定するために、撮影した画像を押しましょう(下図の赤枠)。
 

オフセット(offset)を設定するための画面を開く
オフセット(offset)を設定するための画面を開く



下図のような「パターン設定」の画面が表示された後に、オフセット(offset)を調整するために、「ターゲットオフセット」(下図の赤枠)を押してください。
 

SikuliXのパターン設定画面
SikuliXのパターン設定画面



「ターゲットオフセット」内に表示された画像内(下図の緑枠)で、SikuliXでクリックしたい箇所を押してください。
 

オフセット(offset)を設定
オフセット(offset)を設定



その後、「ターゲットオフセットの値」(下図の赤枠)が変更されていることを確認し、「OK」(下図の緑枠)を押しましょう。
 

設定したオフセット(offset)を保存
設定したオフセット(offset)を保存



最後に、「オフセット(offset)を設定した画像」(下図の緑枠)の上に「赤文字のプラス」が表示されている場合、「オフセット(offset)を調整できた」と判断できます。
 

オフセット(offset)が保存されたことを確認
オフセット(offset)が保存されたことを確認



以上が、「クリック(click)時のオフセット(offset)を設定する方法」となります。
 

クリック(click)時のオフセット(offset)を使ったプログラムを作成

「クリック(click)時のオフセット(offset)を使ったプログラムを作成」に関して説明します。
 

SikuliXでクリック(click)時のオフセット(offset)を使ったプログラムを作成してみましょう。



起動したSikuliX上において、「スクリーンショットを撮る」を押し、「Safariのアイコン」を撮影しましょう。
 

その後、「クリック(click)時のオフセット(offset)を設定する方法」で紹介した手順をもとに、オフセット(offset)を調整してください。
 

その後、以下のプログラムを作成してください。
  

クリック(click)時のオフセット(offset)を使ったプログラム
クリック(click)時のオフセット(offset)を使ったプログラム

 

doubleClick(Pattern("1651672628928.png").targetOffset(75,14))
sleep(5)
print "Safariをクリック(click)しました。"



プログラム作成後、SikuliX上の「実行」ボタンを押します。

そうすること後、下のデモ動画のように、SikuliXでオフセット(offset)を使った自動化を実現できます。
 

SikuliXでクリックclickのオフセットoffsetを設定
オフセット(offset)を使ったプログラム



以上が、「クリック(click)時のオフセット(offset)を使ったプログラムを作成」となります。
 

SikuliXのクリック(click)時に「画像のオフセット(offset)」を設定することで、クリックしたい箇所を調整できます。


 

SikuliXでクリック(click)時の画像認識精度(similar)を設定

SikuliXでクリック(click)時の画像認識精度(similar)を設定


「SikuliXでクリック(click)時の画像認識精度(similar)を設定」関してご紹介します。
  

★SikuliXでクリック(click)時の画像認識精度(similar)を設定★
① 画像認識精度(similar)を設定する方法
➁ 画像認識精度(similar)を使ったプログラムを作成



SikuliXの「画像認識精度(similar)」を調整することで、「似た画像を区別」できるようになります。
 

上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時:2022年5月19日
動作確認済み環境:Windows 11 pro



以降で、上記「SikuliXでクリック(click)時の画像認識精度(similar)を設定」の各項目に関してご説明します。
 

画像認識精度(similar)を設定する方法

「画像認識精度(similar)を設定する方法」に関して説明します。
 

SikuliXでクリック(click)時の画像認識精度(similar)を設定する方法を図を用いて解説しますね。



「クリック(click)時のオフセット(offset)を設定する方法」でご紹介した手順をもとに、「パターン設定」の画面を表示しましょう。

その後、画像認識精度(similar)を設定するために、「パターン設定」画面の「マッチングプレビュー」(下図の赤枠)を押してください。
 

マッチングプレビュー画面を開く
マッチングプレビュー画面を開く



「マッチングプレビュー」画面内にある「スクロールバー」(下図の赤枠)を左に動かすことで、認識精度を低くできます。

低くしたことにより、下図のように「薄い青色部分」を誤認識するようになりました。
ちなみに、濃い赤色部分が「最も一致率が高い部分」となります。
 

画像認識精度(similar)を低くした場合
画像認識精度(similar)を低くする



また、「マッチングプレビュー」画面内にある「スクロールバー」(下図の赤枠)を右に動かすことで、認識精度を高くできます。

スクロールバーを左右に動かし、誤認識がなくなるように調整をしましょう。
その後、「マッチングプレビュー」画面内の下部にある「OK」ボタンを押してください。
 

画像認識精度(similar)を高くした場合
画像認識精度(similar)を高くした場合



最後に、「認識精度(similar)を設定した画像」(下図の緑枠)の上に「数字」が表示されている場合、「認識精度(similar)を調整できた」と判断できます。
 

画像認識精度(similar)が設定されたことを確認
画像認識精度(similar)が設定されたことを確認



以上が、「画像認識精度(similar)を設定する方法」となります。
 

画像認識精度(similar)を使ったプログラムを作成

「画像認識精度(similar)を使ったプログラムを作成」に関して説明します。
 

SikuliXでクリック(click)時の画像認識精度(similar)を使ったプログラムを作成してみましょう。



起動したSikuliX上において、「スクリーンショットを撮る」を押し、「ごみ箱のアイコン」の画像を撮影しましょう。

その後、「クリック(click)時の画像認識精度(similar)を設定する方法」で紹介した手順をもとに、画像認識精度(similar)を調整してください。

その後、以下のプログラムを作成します。
  

画像認識精度(similar)を使ったプログラム
画像認識精度(similar)を使ったプログラム

 

doubleClick(Pattern("1652936504935.png").similar(0.91).targetOffset(-1,-17))

print "画像認識精度(similar)を調整した上で、ごみ箱をダブルクリックできました。"



プログラム作成後、SikuliX上の「実行」ボタンを押します。

そうすることで、下のデモ動画のように、SikuliXでクリック(click)時の画像認識精度(similar)を使った自動化を実現できます。
 

クリックclick時の画像認識精度similarを使ったプログラム
画像認識精度(similar)を使ったプログラム



以上が、「クリック(click)時の画像認識精度(similar)を使ったプログラムを作成」となります。
 

SikuliXの「画像の認識精度(similar)」を調整することで、クリック時(click)の誤認識率を低くできます。


 

ちなみに、「SikuliXをシステムで利用する場合の注意点」や「SikuliXでAndroidを操作する方法」などを知りたい方には、以下の記事で紹介している本がオススメです。
>> 【入門者向け】SikuliXの勉強に役に立つオススメ書籍3冊

 

【まとめ】SikuliXでクリック(click)のオフセット(offset)と認識精度を設定

【まとめ】SikuliXでクリック(click)のオフセット(offset)と認識精度を設定


いかがでしたでしょうか?
SikuliXの「オフセット(offset)」と「画像認識精度(similar)」を使ったプログラムとデモ動画を解説し、以下の悩みを解決しました。
 

★悩み★
・SikuliXでクリック(click)のオフセット(offset)を設定できる?
・SikuliXが誤った画像を認識するけど、精度を上げられない?
・クリック(click)する画像のオフセット(offset)と認識精度を調整できる?



SikuliXで自動化した「画像を用いた操作」の誤動作が多くなった場合、「画像のオフセット(offset)」や「画像の認識精度」の調整を検討してみてください。

コメント

タイトルとURLをコピーしました
おしゃれなラグ・マット・カーペット通販 手帳 型 iphone ケース