<結論>やってみた動画(7倍速)
Claude のブラウザ自動操作機能を使った Power Apps のカメラアプリ自動作成をやってみました。基本機能は動作しましたが、レイアウトは調整が必要でした。この作業で約15分かかりました。
※ 下記動画の高解像度版はこちらからどうぞ
関連記事
この記事は「Claude x Power Platform の自動操作の可能性」の第2弾です。
- 第1弾:Microsoft Listsのリストや列を自動作成
- 第2弾:Power Appsでスマホカメラアプリを自動作成
- 第3弾:Power Automateでリマインダーフローを自動作成
- 第4弾:Power BI Serviceでセマンティックモデルやレポートを自動作成
検証内容
第2弾の「Power Apps のカメラアプリを自動作成」で検証する内容は、下記のとおりです。
- Claude のブラウザ自動操作機能を使った Power Apps アプリの自動作成
- カメラ機能と Lists へのデータ保存機能の実装
- 実機(iPhone)での動作確認
使用したツールは、下記のとおりです。
- Claude for Chrome拡張機能(ブラウザ自動操作機能付き)
- Power Apps(キャンバス アプリ)
- Microsoft Lists(データ保存先・前回作成)
実現方法
全体的な流れは、下記のとおりです。
- プロンプトの準備
- Claude にブラウザ自動操作を実行
- 完成したアプリの確認
1. プロンプトの準備
まず、Claude に作成したいアプリの仕様を日本語で伝えます。プロンプトは下記の通りです。
## インプット
ある SharePoint のリストがあります。
* https://xxxxxx.sharepoint.com/sites/ClaudeChrome/Lists/ExitList
* リスト名:ExitList
* 列
* TargetDate:種類「日付と時刻」。時間を含めるは off、分かりやすい形式は off、既定値はなし、必須
* Evidence:種類「画像」、必須
* Memo:種類「複数行テキスト」
## 課題
ある会社で、最終退出時の消灯し忘れにより電気代の無駄が多いことが判明しました。
iPhone で最終退出する際に消灯されていることを記録として残すため、
SharePoint Lists と Power Apps で記録するアプリを作ることになりました。
利用端末は iPhone 限定で構いません。
記録先は ExitList とし、
Power Apps のアプリは 1 画面構成とします。
* スクリーン名:FirstScreen
* 配置するコントロール
* カメラコントロール
* メモテキスト:テキストコントロール(複数行)
* 登録ボタン
のシンプルな画面とし、
登録ボタン押下で ExitList に、
* TargetDate = 今日
* Evidence = カメラコントロールの画像
* Memo = メモテキスト.Text
のアイテムを 1 件登録するアプリを作りたいです。
現在、Power Apps Studio を開いているので、アプリを作成してください。
2. Claude にブラウザ自動操作を実行
プロンプトを渡したところ、Claude が下記の操作を自動で実行しました。
- ✅ 「新しいアプリ」→「ページデザインで開始する」を選択
- ✅ 「空のキャンバス」、形式「電話」を選択
- ✅ スクリーン名を変更(FirstScreen)
- ✅ SharePoint データソースに接続(ExitList)
- ✅ カメラコントロールを追加
- ✅ テキスト入力コントロール(メモ)を追加
- ✅ ボタンコントロール(登録)を追加
- ✅ 登録ボタンの OnSelect に数式を設定
- ✅ 名前を付けてアプリを保存
- ✅ 登録ボタンのテキストに「登録」を設定
3. 完成したアプリの確認
完成したアプリを確認したところ、下記の結果となりました。
成功した点:
- アプリの作成自体は成功
- カメラ機能が正常に動作
- Lists へのデータ保存も成功
- 実機(iPhone)での動作も確認
課題だった点:
- 処理時間が約15分かかった
- レイアウトが崩れている(コントロールが重なる)
- 写真が90度回転して保存される
生成されたコード
登録ボタンの OnSelect
Patch(
ExitList,
Defaults(ExitList),
{
TargetDate: Today(),
Evidence: {Value: Camera1.Photo},
Memo: TextInput1.Text
}
)
考察
良かった点
1. 自然言語だけで完結
「こういうアプリが欲しい」と伝えるだけで作成できました。
2. Power Fx 数式の自動生成
Power Apps の数式(Power Fx)を、Claude が正しく記述できていました。
課題点
1. 処理時間の長さ
約15分は、手動で作れば5分程度で済む作業です。現状では時短効果はありません。
原因:
- AI の判断処理時間
- 画面遷移の待ち時間
2. レイアウトの品質
コントロールの配置が不正確で、重なりが発生しました。実用には手直しが必要です。
原因:
- ビジュアル干渉の検出ができていない
- 座標計算の精度が低い
3. 細かい機能の不完全性
画像が90度回転して保存されるといった、細かい部分で不完全な点がありました。
今後の可能性
1. プロトタイプ作成の高速化
要件定義の段階で「こんなアプリが作れる」を素早く示せるため、クライアントとの認識合わせが早くなります。
2. 教育・トレーニングへの活用
Power Apps研修で、「AI がどう操作するか」を見せることで理解を深められます。また、生成された Power Fx を教材として活用できます。
まとめ
Power Apps のアプリ作成は、これまでデザインと数式の記述をすべて手動で行う必要がありました。
しかし、今回の検証により、Claude のブラウザ自動操作機能を使うことで、自然言語の指示だけで基本的なカメラアプリが作成できることが確認できました。
これにより、例えばプロトタイプを素早く作成する場合や、Power Fx 数式の書き方を学ぶ場合など、新しい活用方法が見えてきます。
処理時間やレイアウト調整といった課題はあるものの、学習用途やプロトタイプ作成では十分に活用できると思います。
ぜひ一度お試しください!


