ゼロから作るRPA その１の４ マウス動作記録編（再生）

#はじめに
その１の３では、マウスの動きを記録する機能を作りました。今回は、その記録した動作を再現する処理を作ります。

#環境
私の使用している環境を以下に挙げます。環境が異なる場合は適宜読み替えてください。

• Windows 10 pro
• Visual Studio 2019 Community Edition

#今回やること

1. 画面に「再生」ボタンを追加する
2. ファイルを読み込む
3. 記録したマウス操作ごとに、マウスを動作させる

#ボタン追加
記録ボタンを追加した時と同様に、再生ボタンをダイアログに追加します。

次にダイアログのコールバック関数に、再生ボタンクリックのメッセージ処理を追加します。

DaphRPApp.cpp

	case WM_COMMAND:
		switch (LOWORD(wp)) 
		{
		case IDC_REC_BTN:
			StartMouseHook(hDlgWnd);
			return FALSE;
		case IDC_PLAY_BTN:
			return FALSE;
		default:
			return FALSE;
		}

ボタンのIDをIDC_PLAY_BTNとしたので、そのボタンの処理をWM_COMMANDの処理に追加します。

#ファイル読み込み
記録の時に保存したマウスイベントログファイルを読み込みます。

DaphRPApp.cpp

	std::ifstream fin;
	fin.open(L"rec.log", std::ios::in);

ifstreamを使用してファイルを読み取ります。
次に、ファイルを一行ずつ読み込みます。

DaphRPApp.cpp

	while (true)
	{
		char line[128] = { 0 };
		fin >> line;
		if (line[0] == '\0')
			continue;
	}

>>を使って、一行ずつ読み込みます。空行が来たら処理を終了しています。
次に、ファイルの内容を解析します。
ファイルはCSV形式で、以下のフォーマットで保存されています。
メッセージ, X座標, Y座標, タイムスタンプ
そこで、strtok_sを使用して、カンマ区切り文字列をそれぞれ取得します。
取得した後は、それぞれの文字列を数値に変換し保持します。

DaphRPApp.cpp

		char* ctx = nullptr;

		char* token = strtok_s(line, ",", &ctx);
		if (token == nullptr)
			continue;

		int msg = atoi(token);

		token = strtok_s(nullptr, ",", &ctx);
		if (token == nullptr)
			continue;

		int x = atoi(token);

		token = strtok_s(nullptr, ",", &ctx);
		if (token == nullptr)
			continue;

		int y = atoi(token);

		token = strtok_s(nullptr, ",", &ctx);
		if (token == nullptr)
			continue;

		int timestamp = atoi(token);

これで、保存したマウスメッセージの解析は完了です。

#マウス動作
解析した値を使用して、マウスを動かします。
マウスを動かすために、SendInput関数を使用します。

SendInput

UINT WINAPI SendInput(
  _In_ UINT    nInputs,
  _In_ LPINPUT pInputs,
  _In_ int     cbSize
);

SendInputは、キーボードやマウスをプログラムで操作するための関数です。
以下の通り、解析した値を設定して、SendInputを呼び出します。

SendInput

		int time = prevtime == 0 ? 0 : timestamp - prevtime;
		if (time < 0)
			time = 0;

		INPUT inp[1] = { 0 };
		inp[0].type = INPUT_MOUSE;
		inp[0].mi.time = 0;
		inp[0].mi.dwExtraInfo = 0;
		inp[0].mi.dx = x * (65535 / GetSystemMetrics(SM_CXSCREEN));
		inp[0].mi.dy = y * (65535 / GetSystemMetrics(SM_CYSCREEN));
		inp[0].mi.mouseData = 0;
		inp[0].mi.dwFlags = MOUSEEVENTF_ABSOLUTE | MOUSEEVENTF_MOVE;

		switch (msg)
		{
		case WM_LBUTTONDOWN:
			inp[0].mi.dwFlags |= MOUSEEVENTF_LEFTDOWN;
			break;
		case WM_LBUTTONUP:
			inp[0].mi.dwFlags |= MOUSEEVENTF_LEFTUP;
			break;
		case WM_MOUSEMOVE:
			break;
		case WM_MOUSEWHEEL:
			break;
		case WM_MOUSEHWHEEL:
			break;
		case WM_RBUTTONDOWN:
			inp[0].mi.dwFlags |= MOUSEEVENTF_RIGHTUP;
			break;
		case WM_RBUTTONUP:
			inp[0].mi.dwFlags |= MOUSEEVENTF_RIGHTDOWN;
			break;
		}

		Sleep(time);
		SendInput(1, inp, sizeof(INPUT));

INPUT構造体に、INPUT_MOUSEを指定して、マウスを動作させることを指定します。
そのあとは、xやyを設定します。これらの値は、画面の幅や高さを65535までで表す必要があるため、65535をスクリーンの幅と高さで割ったものをかけて算出しています。

ホイールの動作は今のところ未対応なので、処理を入れていません。暇を見つけて拡張します。

#動きを見てみましょう
動画だと、ただ絵を描いているだけに見えるかもしれませんが、記録したものを再生した動画です。本当ですよ～。

マウス動作を記録再生できるRPAをつくって、お絵かきを記録して再生してみた。 https://t.co/0gEdxJ3Y6K via @YouTube

— teamm (@teamm89201677) October 17, 2019

#つづく
これで、マウス動作の記録と再生ができるようになりました。UWSCでいうところの、低レベル記録です。
キーボードの記録再生は、同じようにフックして記録して再生すればいいので、簡単に作れると思います。
もし需要があれば書きますので、コメントください。

次回は、OpenCVを使った、画像指定による項目クリックの実装です。
https://qiita.com/yasunari_matsuo/items/1dd10e0379570eef96d0

これまでの記事は以下です。

その１の１
https://qiita.com/yasunari_matsuo/items/b1e56ad06c6a7843dfae
その１の２
https://qiita.com/yasunari_matsuo/items/a1d294f09ac21e9508b6
その１の３
https://qiita.com/yasunari_matsuo/items/14fe987a162936f7a1ae