はじめに
sikuliは画像認識(OpenCV)を利用したGUI自動操作ツールです。
操作対象を画像としてマッチングするため、スクリーン上に表示されているものであればアプリケーションの種類を問わず操作することができます。
スクリプトはjythonで書きます。
詳細は公式サイトを参照して下さい。
開発者向けにAPIも公開されています。
今回はSikuli 1.0.1のインストール方法と簡単なサンプルを紹介します。
インストール手順(for windows 7)
1. JDKの準備(割愛。JDK6,7で動きました)
2. ダウンロード
- 公式サイトの"SikuliX Package - Learn More and Get It"を選択
- "SikuliX powered by RaiMan"の"Stable Version"を選択
- "launchpad"の"sikuli-setup.jar"をダウンロード
3. インストール
- 適当なフォルダを作成し、sikuli-setup.jarを置く(例としてC:\sikuli\とする)
- "sikuli-setup.jar"をダブルクリック(runSetup.cmdとSikuliX-1.0.1-SetupLog.txtが生成される)
- "OK"を押す
4. 新たにフォルダに生成された"runSetup.cmd"をダブルクリック
5. "OK"を押す
6. "Pack1"を選択して"Setup Now"を押す(※1 Proxy環境の方は後述)
※1:Proxy環境でダウンロードが失敗する場合は以下の方法でjarファイルを取得する。
- 上記の手順で作成したフォルダ(C:\sikuli)に"Downloads"フォルダを作成する
- RaiMan's stuff for Sikuliより、"1.0.1-1.jar"をダウンロードする
- "1.0.1-1.jar"を"Downloads"フォルダに配置する
-
- インストールの4から実施する
4. 起動
- 新しく生成された"runIDE.cmd"をダブルクリックして起動する
チュートリアル：「sikuli公式サイトを検索する」
以下の手順をsikuliに実行させます。
- デスクトップにあるブラウザのアイコンをダブルクリックする(ホームページはgoogle.co.jpとする)
- Googleのtopページが表示されるまで待つ
- テキストボックスに"sikuli"と入力する
- 検索ボタンを押す
- 検索結果を待つ
- 検索結果から公式サイトのリンクをクリックする
- 公式サイトのロゴが表示されるまで待つ
- 公式サイトのロゴ見つけたら終了
スクリプト作成手順
- sikuliを起動する
- 左端のコマンドリストから"doubleClick"を選択する
- キャプチャモードに切り替わるのでブラウザのアイコンをドラッグする
- コードが生成される
- 左端のコマンドリストから"wait"を選択する
- Googleのトップページのアイコンを選択する
- コードが生成される
- 何秒waitするか指定できるので最大10秒待つことにする
- コマンドを選択→キャプチャ取得を繰り返してこんなスクリプトを作る
ここで、最後のpopupはアラートを表示させるコマンドです。コマンドリストに無いものは、ドキュメントを参照して探して下さい(tips集のようなものを次回書く予定)
10. 実行ボタンを押す(保存するか質問されるので適宜選択する)
11. うまく動かない場合はトライ・アンド・エラーしてみてください。
所感
-
ポジティブな感想
- 何より凄いのはWebアプリ→Androidエミュレータ→OS操作といったように様々な対象を横断した操作ができること
- jythonが比較的取っ付きやすいためテストを回すという目的を(保守性を考えなければ)簡単に達成できる
- jython(python)が書けると自由度が増す、また保守性を考慮した設計も応用できる
- コードに画像が入ってくるというなかなか衝撃的な絵面
- 慣れてくると何でも自動化できそうなスーパーハカー気分を味わえる
-
ネガティブな感想
- 認識パラメータのチューニングが必要になる場合は少し面倒
- 認識が不安定になる時がある
- デフォルトだと操作が遅い
- 進まない1.1.0のリリース(頑張れRaiMan!!)。。。
次はテストでよく使うメソッドの紹介などを中心に紹介したいと思います。
リンク
- 公式サイト
- 開発者サイト