★悩み★
・SikiliXで「マウスの右クリック」などのクリック操作を自動化できる？
・マウスのスクロールなどの「移動操作」をSikuliXで自動化できる？
・SikuliXで「マウス操作の自動化」を実現する方法を知りたい。
こういった「悩み」に答えます。
★本記事の内容★
➀ 準備：SikuliXのインストールと起動
➁ SikuliXでマウスのクリック操作を自動化する方法
③ SikuliXでマウスの移動操作を自動化する方法
これからご紹介する「SikuliXでマウスのクリックや移動操作を自動化」を実践したことで、30分以内で「SikuliXでマウスの移動操作を自動化し、Google検索を自動化」できました(下の動画参照)。
記事の前半では「SikuliXのインストールや起動といった環境の準備」を解説します。
記事の後半では「マウスの右クリックやスクロールなどのマウス操作をSikuliXで自動化する手順」を紹介します。
この記事を読み終えることで、「SikuliXでマウス操作を伴う動作を自動化」できる状態になります。
★SikuliXとは★
SikuliX(シクリ)とは、画像認識を用いたGUI操作自動化ツールです。簡単な操作で「エクセル入力の自動化」などに利用できます。「検索ボックスに検索ワードを入力して検索ボタンをクリックする」などの操作を自動化できます。
さらに詳しく知りたい方には、以下の記事がオススメです。
>> 【要点解説】SikuliXとは？を解消！3ステップで入門する方法を解説
ちなみに、筆者が2週間でSikuliXを学んだ方法や手順について以下で公開しています。皆様の学習の参考になれば嬉しいです。
>> SikuliXに0から入門し操作を自動化するまでのロードマップを公開中
準備：SikuliXのインストールと起動
「準備：SikuliXのインストールと起動」に関してご紹介します。
★SikuliXでマウス操作の自動化をするための準備手順★
手順1：SikuliXをインストール
手順2：SikuliXの起動
上記の流れで、「SikuliXでマウスのクリックや移動操作の自動化をするための環境準備」ができます。
上記の各手順は、以下の日時で動作確認済みです。
動作確認済み日時：2022年5月8日
以降で、上記「SikuliXでマウス操作の自動化をするための準備手順」の各手順に関してご説明します。
手順1：SikuliXをインストール
「手順1：SikuliXをインストール」に関して説明します。
マウス操作の自動化をしたいパソコンに、SikuliXをインストールしましょう。
「SikuliXをWindowsにインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
「macOS(Mac)にインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
以上が、「手順1：SikuliXをインストール」となります。
手順2：SikuliXの起動
「手順2：SikuliXの起動」に関して説明します。
インストールしたSikuliXを起動し、「マウス操作を自動化するためのプログラム」を記載できる状態にしましょう。
「WindowsにインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
「macOS(Mac)にインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
以上が、「手順2：SikuliXの起動」となります。
Javaをインストールし、SikuliXのjarファイルをダウンロードすることで、簡単にSikuliXの環境を準備できます。
SikuliXでマウスのクリック操作を自動化する方法
「SikuliXでマウスのクリック操作を自動化する方法」に関してご紹介します。
★SikuliXで自動化できるマウスのクリック操作一覧★
・SikuliXでマウスの左クリック操作を自動化
・SikuliXでマウスの右クリック操作を自動化
・SikuliXでマウスのダブルクリック操作を自動化
SikuliXを使うことで、上記のマウスのクリック操作を自動化できます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年5月8日
動作確認済み環境：macOS Catalina
以降で、上記「SikuliXで自動化できるマウスのクリック操作一覧」の各項目に関してご説明します。
SikuliXでマウスの左クリック操作を自動化
「SikuliXでマウスの左クリック操作を自動化」に関して説明します。
SikuliXを使うことで、マウスの左クリック操作を自動化できます。
SikuliXでマウスの左クリック操作を自動化する場合、以下の「click」を使います。
★clickのリファレンス★
処理：指定した画像までマウスを移動させ、左クリックする
使い方：click(画像)
参照：SikuliXのclickに関するリファレンス(公式サイト)
それでは、上記のclickを使って、マウスの左クリック操作を自動化してみましょう。
起動したSikuliX上において、「スクリーンショットを撮る」(下図の赤枠)をクリックし、「Safariのアイコン」の画像を撮影しましょう。
撮影終了、以下のプログラムを作成してください。
click("1651484534966.png")
print "Safariをclickしました。"プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、下のデモ動画のように、SikuliXのclickを使うことで、Safariのアイコンをマウスで左クリックできます。
以上が、「SikuliXでマウスの左クリック操作を自動化」となります。
SikuliXでマウスの右クリック操作を自動化
「SikuliXでマウスの右クリック操作を自動化」に関して説明します。
SikuliXを使うことで、マウスの右クリック操作を自動化できます。
SikuliXでマウスの右クリック操作を自動化する場合、以下の「rightClick」を使います。
★rightClickのリファレンス★
処理：指定した画像までマウスを移動させ、右クリックする
使い方：rightClick(画像)
参照：SikuliXのrightClick関数に関するリファレンス(公式サイト)
それでは、上記のrightClickを使って、マウスの右クリック操作を自動化してみましょう。
起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Safariのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。
rightClick("1651484534966-1.png")
sleep(5)
print "Safariを右クリック(rightClick)しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、下のデモ動画のように、SikuliXのrightClickを使うことで、Safariのアイコンをマウスで右クリックできます。
以上が、「SikuliXでマウスの右クリック操作を自動化」となります。
SikuliXでマウスのダブルクリック操作を自動化
「SikuliXでマウスのダブルクリック操作を自動化」に関して説明します。
SikuliXを使うことで、マウスのダブルクリック操作を自動化できます。
SikuliXでマウスのダブルクリック操作を自動化する場合、以下の「doubleClick」を使います。
★doubleClickのリファレンス★
処理：指定した画像までマウスを移動させ、ダブルクリックする
使い方：doubleClick(画像)
参照：SikuliXのdoubleClickに関するリファレンス(公式サイト)
それでは、上記のdoubleClickを使って、マウスのダブルクリック操作を自動化してみましょう。
起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Safariのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。
doubleClick("1651484534966.png")
sleep(5)
print "Safariをダブルクリック(doubleClick)しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、下のデモ動画のように、SikuliXのdoubleClickを使うことで、Safariのアイコンをマウスでダブルクリックできます。
以上が、「SikuliXでマウスのダブルクリック操作を自動化」となります。
ちなみに、指定した画像の左上などをクリックしたい場合、オフセットを使います。使い方に関しては、以下の記事で詳しく解説していますのでご覧ください。
>> SikuliXでクリック(click)のオフセット(offset)と認識精度を設定
また、指定した画像と似た箇所すべてをクリックしたい場合、find関数を使います。使い方に鑑定は、以下の記事で実行例と共に詳しく解説していますのでご覧ください。
>> SikuliXのfind()を使った画像検索を解説
SikuliXの「click」「rightClick」「doubleClick」を使うことで、マウスのクリック操作を自動化できます。
SikuliXでマウスの移動操作を自動化する方法
「SikuliXでマウスの移動操作を自動化する方法」に関してご紹介します。
★SikuliXで自動化できるマウスの移動操作一覧★
・SikuliXでマウスのカーソルホバー操作を自動化
・SikuliXでマウスのスクロール操作を自動化
・SikuliXでマウスの移動操作を自動化
・SikuliXでマウスのドラッグ＆ドロップを自動化
SikuliXを使うことで、上記のマウスの移動操作を自動化できます。
上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時：2022年5月12日
動作確認済み環境：Windows 11 pro
以降で、上記「SikuliXで自動化できるマウスの移動操作一覧」の各項目に関してご説明します。
SikuliXでマウスのカーソルホバー操作を自動化
「SikuliXでマウスのカーソルホバー操作を自動化」に関して説明します。
SikuliXを使うことで、マウスのカーソルホバー操作を自動化できます。
SikuliXでマウスのカーソルホバー操作を自動化する場合、以下の「hover」を使います。
★hoverのリファレンス★
処理：指定した画像までマウスを移動させる
使い方：hover(画像)
参照：SikuliXのhoverに関するリファレンス(公式サイト)
それでは、上記のhoverを使って、マウスのカーソルホバー操作を自動化してみましょう。
起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Chromeのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。
hover("1652345633380.png"
print "SikuliXでマウスのカーソルホバー操作を自動化しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのhoverを使うことで、マウスのカーソルホバー操作を自動化できます。
以上が、「SikuliXでマウスのカーソルホバー操作を自動化」となります。
SikuliXでマウスのスクロール操作を自動化
「SikuliXでマウスのスクロール操作を自動化」に関して説明します。
SikuliXを使うことで、マウスのスクロール操作を自動化できます。
SikuliXでマウスのスクロール操作を自動化する場合、以下の「wheel」を使います。
★wheelのリファレンス★
処理：マウスのスクロール操作をする
使い方：wheel(画像, スクロールの方向, スクロールする行数)
参照：SikuliXのwheelに関するリファレンス(公式サイト)
それでは、上記のwheelを使って、マウスの下スクロール操作を自動化してみましょう。
起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Chromeのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。
doubleClick("1652350644943.png")
sleep(5)
paste("kakedashi-xx.com")
sleep(5)
type("\n")
wheel("1652350810161.png", WHEEL_DOWN,5)
sleep(5)
print "SikuliXでマウスのスクロールを自動化しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのwheelを使うことで、マウスのスクロール操作を自動化できます。
以上が、「SikuliXでマウスのスクロール操作を自動化」となります。
SikuliXでマウスの移動操作を自動化
「SikuliXでマウスの移動操作を自動化」に関して説明します。
SikuliXを使うことで、マウスの移動操作を自動化できます。
SikuliXでマウスの移動操作を自動化する場合、以下の「mouseMove」を使います。
★mouseMoveのリファレンス★
処理：マウスの移動操作をする
使い方：mouseMove(X座標, Y座標)
参照：SikuliXのmouseMoveに関するリファレンス(公式サイト)
それでは、上記のmouseMoveを使って、マウスの移動操作を自動化してみましょう。
起動したSikuliX上において、以下のプログラムを作成してください。
mouseMove(100,100)
print "SikuliXでマウスの移動を自動化しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのmouseMoveを使うことで、マウスの移動操作を自動化できます。
以上が、「SikuliXでマウスの移動操作を自動化」となります。
SikuliXでマウスのドラッグ＆ドロップを自動化
「SikuliXでマウスのドラッグ＆ドロップを自動化」に関して説明します。
SikuliXを使うことで、マウスの移動操作を自動化できます。
SikuliXでマウスのドラッグ＆ドロップ操作を自動化する場合、以下の「dragDrop」を使います。
★dragDropのリファレンス★
処理：マウスでドラッグ＆ドロップをする
使い方：dragDrop(dragする画像, drop先の画像)
参照：SikuliXのdragDropに関するリファレンス(公式サイト)
それでは、上記のdragDropを使って、マウスの移動操作を自動化してみましょう。
デスクトップ上にメモ帳のショートカットを作成してください。
その後、起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「メモ帳のショートカット」と「ごみ箱」の画像を撮影します。
その後、以下のプログラムを作成してください。
dragDrop("1652357530461.png", "1652356572194.png")
print "SikuliXでドラッグ＆ドロップを自動化しました。"
プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、下のデモ動画のように、SikuliXのdragDropを使うことで「メモ帳のショートカット」を「ごみ箱」へドラッグ＆ドロップできます。
以上が、「SikuliXでマウスのドラッグ＆ドロップを自動化」となります。
SikuliXの「hover」「wheel」「mouseMove」「dragDrop」を使うことで、マウスの移動操作を自動化できます。
SikuliXには、マウス操作以外にもキーボード操作など様々な自動化ができるコマンドが用意されています。以下の記事にSikuliXでよく使うコマンドをまとめましたので、ぜひご覧ください。
>> SikuliXでよく使うコマンドの一覧
ちなみに、「SikuliXをシステムで利用する場合の注意点」や「SikuliXでAndroidを操作する方法」などを知りたい方には、以下の記事で紹介している本がオススメです。
>> 【入門者向け】SikuliXの勉強に役に立つオススメ書籍3冊
【まとめ】SikuliXでマウスのクリックや移動操作を自動化
いかがでしたでしょうか？
SikuliXで自動化できる「3つのマウスクリック操作」と「4つのマウス移動操作」をプログラムとデモ動画を用いて解説し、以下の悩みを解決しました。
★悩み★
・SikiliXで「マウスの右クリック」などのクリック操作を自動化できる？
・マウスのスクロールなどの「移動操作」をSikuliXで自動化できる？
・SikuliXで「マウス操作の自動化」を実現する方法を知りたい。
マウスのクリック操作や移動操作を自動化したい場合、SikuliXの利用を検討してみてください。
コメント