スポンサーリンク

SikuliXでマウスのクリックや移動操作を自動化

SikuliXでマウスのクリックや移動操作を自動化

 

★悩み★
・SikiliXで「マウスの右クリック」などのクリック操作を自動化できる?
・マウスのスクロールなどの「移動操作」をSikuliXで自動化できる?
・SikuliXで「マウス操作の自動化」を実現する方法を知りたい。



こういった「悩み」に答えます。
 

★本記事の内容★
➀ 準備:SikuliXのインストールと起動
➁ SikuliXでマウスのクリック操作を自動化する方法
③ SikuliXでマウスの移動操作を自動化する方法



これからご紹介する「SikuliXでマウスのクリックや移動操作を自動化」を実践したことで、30分以内で「SikuliXでマウスの移動操作を自動化し、Google検索を自動化」できました(下の動画参照)。
 

【デモ】SikuliXを用いて、google検索をする
SikuliXの「マウス操作の自動化」を利用した例



記事の前半では「SikuliXのインストールや起動といった環境の準備」を解説します。
記事の後半では「マウスの右クリックやスクロールなどのマウス操作をSikuliXで自動化する手順」を紹介します。
 

この記事を読み終えることで、「SikuliXでマウス操作を伴う動作を自動化」できる状態になります。
 

★SikuliXとは★
SikuliX(シクリ)とは、画像認識を用いたGUI操作自動化ツールです。簡単な操作で「エクセル入力の自動化」などに利用できます。「検索ボックスに検索ワードを入力して検索ボタンをクリックする」などの操作を自動化できます。


 

準備:SikuliXのインストールと起動

準備:SikuliXのインストールと起動


「準備:SikuliXのインストールと起動」に関してご紹介します。
 

★SikuliXでマウス操作の自動化をするための準備手順★
手順1:SikuliXをインストール
手順2:SikuliXの起動



上記の流れで、「SikuliXでマウスのクリックや移動操作の自動化をするための環境準備」ができます。
 

上記の各手順は、以下の日時で動作確認済みです。
動作確認済み日時:2022年5月8日



以降で、上記「SikuliXでマウス操作の自動化をするための準備手順」の各手順に関してご説明します。
 

手順1:SikuliXをインストール

「手順1:SikuliXをインストール」に関して説明します。
 

マウス操作の自動化をしたいパソコンに、SikuliXをインストールしましょう。



「SikuliXをWindowsにインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
 

「macOS(Mac)にインストールする手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
 

以上が、「手順1:SikuliXをインストール」となります。
 

手順2:SikuliXの起動

「手順2:SikuliXの起動」に関して説明します。
 

インストールしたSikuliXを起動し、「マウス操作を自動化するためのプログラム」を記載できる状態にしましょう。



「WindowsにインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Windows向け】SikuliXのインストール手順と基本的な使い方
 

「macOS(Mac)にインストールしたSikuliXを起動する手順」に関しては、以下の記事をご覧ください。
>> 【Mac向け】SikuliXのインストール手順と基本的な使い方
 

以上が、「手順2:SikuliXの起動」となります。
 

Javaをインストールし、SikuliXのjarファイルをダウンロードすることで、簡単にSikuliXの環境を準備できます。


 

SikuliXでマウスのクリック操作を自動化する方法

SikuliXでマウスのクリック操作を自動化する方法


「SikuliXでマウスのクリック操作を自動化する方法」に関してご紹介します。
 

★SikuliXで自動化できるマウスのクリック操作一覧★
・SikuliXでマウスの左クリック操作を自動化
・SikuliXでマウスの右クリック操作を自動化
・SikuliXでマウスのダブルクリック操作を自動化



SikuliXを使うことで、上記のマウスのクリック操作を自動化できます。
 

上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時:2022年5月8日
動作確認済み環境:macOS Catalina



以降で、上記「SikuliXで自動化できるマウスのクリック操作一覧」の各項目に関してご説明します。
 

SikuliXでマウスの左クリック操作を自動化

「SikuliXでマウスの左クリック操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスの左クリック操作を自動化できます。



SikuliXでマウスの左クリック操作を自動化する場合、以下の「click」を使います。
 

★clickのリファレンス★
処理:指定した画像までマウスを移動させ、左クリックする
使い方:click(画像)
参照:SikuliXのclickに関するリファレンス(公式サイト)



それでは、上記のclickを使って、マウスの左クリック操作を自動化してみましょう。
 

起動したSikuliX上において、「スクリーンショットを撮る」(下図の赤枠)をクリックし、「Safariのアイコン」の画像を撮影しましょう。
 

SikuliXでSafariのスクリーンショットを撮る
SikuliXでSafariのスクリーンショットを撮る



撮影終了、以下のプログラムを作成してください。
 

SikuliXのclickでマウスの左クリック操作を自動化するプログラム
SikuliXでのclickでマウスの左クリック操作を自動化するプログラム

 

click("1651484534966.png")
print "Safariをclickしました。"


プログラム作成後、SikuliX上の「実行」ボタンをクリックします。

クリック後、下のデモ動画のように、SikuliXのclickを使うことで、Safariのアイコンをマウスで左クリックできます。
 

SikuliXでマウスの左クリック操作を自動化



以上が、「SikuliXでマウスの左クリック操作を自動化」となります。
 

SikuliXでマウスの右クリック操作を自動化

「SikuliXでマウスの右クリック操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスの右クリック操作を自動化できます。



SikuliXでマウスの右クリック操作を自動化する場合、以下の「rightClick」を使います。
 

★rightClickのリファレンス★
処理:指定した画像までマウスを移動させ、右クリックする
使い方:rightClick(画像)
参照:SikuliXのrightClick関数に関するリファレンス(公式サイト)



それでは、上記のrightClickを使って、マウスの右クリック操作を自動化してみましょう。
 

起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Safariのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。

 

SikuliXでrightClickを用いてマウスの右クリック操作を自動化するプログラム
SikuliXでrightClickを用いてマウスの右クリック操作を自動化するプログラム

 

rightClick("1651484534966-1.png")
sleep(5)
print "Safariを右クリック(rightClick)しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。

クリック後、下のデモ動画のように、SikuliXのrightClickを使うことで、Safariのアイコンをマウスで右クリックできます。
 

SikuliXのrightClick関数でマウスの右クリック操作を自動化



以上が、「SikuliXでマウスの右クリック操作を自動化」となります。
 

SikuliXでマウスのダブルクリック操作を自動化

「SikuliXでマウスのダブルクリック操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスのダブルクリック操作を自動化できます。



SikuliXでマウスのダブルクリック操作を自動化する場合、以下の「doubleClick」を使います。
 

★doubleClickのリファレンス★
処理:指定した画像までマウスを移動させ、ダブルクリックする
使い方:doubleClick(画像)
参照:SikuliXのdoubleClickに関するリファレンス(公式サイト)



それでは、上記のdoubleClickを使って、マウスのダブルクリック操作を自動化してみましょう。
 

起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Safariのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。

 

SikuliXのdoubleClickでマウスのダブルクリック操作を自動化するプログラム
SikuliXでdoubleClickを用いてマウスのダブルクリック操作を自動化するプログラム

 

doubleClick("1651484534966.png")
sleep(5)
print "Safariをダブルクリック(doubleClick)しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。

クリック後、下のデモ動画のように、SikuliXのdoubleClickを使うことで、Safariのアイコンをマウスでダブルクリックできます。
 

SikuliXでマウスのダブルクリック操作を自動化



以上が、「SikuliXでマウスのダブルクリック操作を自動化」となります。
 

SikuliXの「click」「rightClick」「doubleClick」を使うことで、マウスのクリック操作を自動化できます。


 

SikuliXでマウスの移動操作を自動化する方法

SikuliXでマウスの移動操作を自動化する方法


「SikuliXでマウスの移動操作を自動化する方法」に関してご紹介します。
 

★SikuliXで自動化できるマウスの移動操作一覧★
・SikuliXでマウスのカーソルホバー操作を自動化
・SikuliXでマウスのスクロール操作を自動化
・SikuliXでマウスの移動操作を自動化
・SikuliXでマウスのドラッグ&ドロップを自動化



SikuliXを使うことで、上記のマウスの移動操作を自動化できます。
 

上記の各手順は、以下の日時と環境で動作確認済みです。
動作確認済み日時:2022年5月12日
動作確認済み環境:Windows 11 pro



以降で、上記「SikuliXで自動化できるマウスの移動操作一覧」の各項目に関してご説明します。
 

SikuliXでマウスのカーソルホバー操作を自動化

「SikuliXでマウスのカーソルホバー操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスのカーソルホバー操作を自動化できます。



SikuliXでマウスのカーソルホバー操作を自動化する場合、以下の「hover」を使います。
 

★hoverのリファレンス★
処理:指定した画像までマウスを移動させる
使い方:hover(画像)
参照:SikuliXのhoverに関するリファレンス(公式サイト)



それでは、上記のhoverを使って、マウスのカーソルホバー操作を自動化してみましょう。
 

起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Chromeのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。

 

SikuliXのhoverでカーソルホバー操作をするプログラム
SikuliXのhoverでカーソルホバー操作をするプログラム

 

hover("1652345633380.png"
print "SikuliXでマウスのカーソルホバー操作を自動化しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのhoverを使うことで、マウスのカーソルホバー操作を自動化できます。
 

以上が、「SikuliXでマウスのカーソルホバー操作を自動化」となります。
 

SikuliXでマウスのスクロール操作を自動化

「SikuliXでマウスのスクロール操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスのスクロール操作を自動化できます。



SikuliXでマウスのスクロール操作を自動化する場合、以下の「wheel」を使います。
 

★wheelのリファレンス★
処理:マウスのスクロール操作をする
使い方:wheel(画像, スクロールの方向, スクロールする行数)
参照:SikuliXのwheelに関するリファレンス(公式サイト)



それでは、上記のwheelを使って、マウスの下スクロール操作を自動化してみましょう。
 

起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「Chromeのアイコン」の画像を撮影します。
その後、以下のプログラムを作成してください。

 

SikuliXのwheelでスクロール操作するプログラム
SikuliXのwheelでスクロール操作するプログラム

 

doubleClick("1652350644943.png")
sleep(5)
paste("kakedashi-xx.com")
sleep(5)
type("\n")
wheel("1652350810161.png", WHEEL_DOWN,5)
sleep(5)
print "SikuliXでマウスのスクロールを自動化しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのwheelを使うことで、マウスのスクロール操作を自動化できます。

 

以上が、「SikuliXでマウスのスクロール操作を自動化」となります。
 

SikuliXでマウスの移動操作を自動化

「SikuliXでマウスの移動操作を自動化」に関して説明します。
 

SikuliXを使うことで、マウスの移動操作を自動化できます。



SikuliXでマウスの移動操作を自動化する場合、以下の「mouseMove」を使います。
 

★mouseMoveのリファレンス★
処理:マウスの移動操作をする
使い方:mouseMove(X座標, Y座標)
参照:SikuliXのmouseMoveに関するリファレンス(公式サイト)



それでは、上記のmouseMoveを使って、マウスの移動操作を自動化してみましょう。
 

起動したSikuliX上において、以下のプログラムを作成してください。
 

SikuliXのmouseMoveでマウスの移動操作をするプログラム
SikuliXのmouseMoveでマウスの移動操作をするプログラム

 

mouseMove(100,100)
print "SikuliXでマウスの移動を自動化しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。
クリック後、SikuliXのmouseMoveを使うことで、マウスの移動操作を自動化できます。

 

以上が、「SikuliXでマウスの移動操作を自動化」となります。
 

SikuliXでマウスのドラッグ&ドロップを自動化

「SikuliXでマウスのドラッグ&ドロップを自動化」に関して説明します。
 

SikuliXを使うことで、マウスの移動操作を自動化できます。



SikuliXでマウスのドラッグ&ドロップ操作を自動化する場合、以下の「dragDrop」を使います。
 

★dragDropのリファレンス★
処理:マウスでドラッグ&ドロップをする
使い方:dragDrop(dragする画像, drop先の画像)
参照:SikuliXのdragDropに関するリファレンス(公式サイト)



それでは、上記のdragDropを使って、マウスの移動操作を自動化してみましょう。
 

デスクトップ上にメモ帳のショートカットを作成してください。
その後、起動したSikuliX上において、「スクリーンショットを撮る」をクリックし、「メモ帳のショートカット」と「ごみ箱」の画像を撮影します。
その後、以下のプログラムを作成してください。
 

SikuliXのdragDropでマウスのドラッグ&ドロップ操作するプログラム
SikuliXのdragDropでマウスのドラッグ&ドロップ操作するプログラム

 

dragDrop("1652357530461.png", "1652356572194.png")
print "SikuliXでドラッグ&ドロップを自動化しました。"



プログラム作成後、SikuliX上の「実行」ボタンをクリックします。

クリック後、下のデモ動画のように、SikuliXのdragDropを使うことで「メモ帳のショートカット」を「ごみ箱」へドラッグ&ドロップできます。
 

SikuliXでマウスのドラッグ&ドロップを自動化



以上が、「SikuliXでマウスのドラッグ&ドロップを自動化」となります。
 

SikuliXの「hover」「wheel」「mouseMove」「dragDrop」を使うことで、マウスの移動操作を自動化できます。


 

ちなみに、「SikuliXをシステムで利用する場合の注意点」や「SikuliXでAndroidを操作する方法」などを知りたい方には、以下の記事で紹介している本がオススメです。
>> 【入門者向け】SikuliXの勉強に役に立つオススメ書籍3冊

 

【まとめ】SikuliXでマウスのクリックや移動操作を自動化

【まとめ】SikuliXでマウスのクリックや移動操作を自動化


いかがでしたでしょうか?
SikuliXで自動化できる「3つのマウスクリック操作」と「4つのマウス移動操作」をプログラムとデモ動画を用いて解説し、以下の悩みを解決しました。
 

★悩み★
・SikiliXで「マウスの右クリック」などのクリック操作を自動化できる?
・マウスのスクロールなどの「移動操作」をSikuliXで自動化できる?
・SikuliXで「マウス操作の自動化」を実現する方法を知りたい。



マウスのクリック操作や移動操作を自動化したい場合、SikuliXの利用を検討してみてください。

コメント

タイトルとURLをコピーしました
おしゃれなラグ・マット・カーペット通販 手帳 型 iphone ケース