LoginSignup
13
8

More than 5 years have passed since last update.

@AtsushiYamashita(ヤマシタ アツシ)

Unity×Windowsの画面キャプチャで四苦八苦してる話(1)

Last updated at Posted at 2018-02-26

Unity×Windowsの画面キャプチャで四苦八苦してる話(1)

この記事を書いた人

学生をしながらVRで使えるものを作っている最中の山下です。
表に出ているものは少ないですが、内定先の某社内では共有ライブラリを書き起こしています。

なぜ必要になったのか

現在作っているアプリの提供機能の一つとして、
Windowsで実行されているほかのアプリケーションの画面をキャプチャし、
内部で空間中に展開できるようにしたいなーと思っていました。
VirtualDesktopで「そのままのデスクトップを出すことしかできない」という部分が不満だったからです。
既存のライブラリなどで丁度よいものが無かったので自作しようとしました。

結論とこの文章の趣旨

まず最初に結論を言うと 2018/2/26 現在、
結果としては半分成功、半分失敗しています。

成功に関してはデスクトップの画像と、各アプリケーションがWindowsに提供している画像データを取得することはできました。
失敗は、そのアプリケーションから提供されたキャプチャ画像が一部欠損していることです。
VisualStudioやUnityの画面は普通に取得できるのですが、Chromeなどブラウザなどの画面はうまく取得できないという状態になっています。
特に取得が望まれていたブラウザがまともに取得できておらず、先にやりたかったことを凹さん( https://twitter.com/hecomi )が実現されていて息絶えました。

とはいえ、調査した資料などをまとめておけば、今後だれかの、何かの役に立つかもしれないと考えて、この文章をかきました。

暗中模索の経路

ブラウザから表示したい

最初はまっとうにWinAPIを叩くつもりはなく、ブラウザでデスクトップ表示するようなものを使えれば大体代用できるよねという発想でそちらについて検索。
とりあえずUnityでブラウザの内容を表示するなんて簡単だろう、すぐできるだろうという発想でした。。。とんでもない。
まず当然ながら既存の情報を検索しましたが、英語も含めて検索したものの、実用性が高いものはみつかりませんでした。
一番助かったのは2014/05/05の凹さんの記事で、こちらは様々なアセットの比較などがされており、現状でも生きている情報。ありがたや。

その上で、いくつかブラウザ経由でデスクトップアプリを操作するものを探したのですが、やはりどうにも満足できず。
仕方ないからもう少し正攻法で掘っていくことにしました。

まっとうにWinAPIをたたく

以下のような内容を参考に、通常のデスクトップの画像と、仮想デスクトップの画像、各ウィンドウの画像を取ろうとしました。

  • C#/.NETの標準機能からの取得
    • ⇒ デスクトップ画像の取得だけなら可能だけど、他が不可能。
    • ウィンドウの一覧や、そのハンドルなどは手に入った。
    • 自分が操作しているメインプロセスの支配下ならFormsから画像がとれますが、ほかのプロセスからはとれません。
  • 入手したハンドルを使い、WinAPIのUser32.dllを利用してキャプチャ
    • ⇒ ブラウザなど、一部のウィンドウが対応していない。
    • WHY?

どうしてUser32.dllから取得できないか

あくまで推測ですが、WindowsVista以降で改良されたWindowsの描画プロセスが問題ではないかと推測しています。
ちょっと出典資料がみつからないのですが（だれか知ってたらおしえてください）
初期のWindowsは「CPU側のメインメモリ」と「GPUのメモリ」の両方に対して、各Formの情報をレンダリングしていたらしいです。
しかし、あるバージョンから高速化を理由にその方式を変更し、GPU側のメモリにだけ描画を行うようになっています。
ただし、こうしたバックグラウンドから、実際に描画される部分と、User32がアクセスする領域がうまく一致していない状態が発生しているのではないかと推測しています。

今後について

実用性と手間

凹さんがすでにWindowCaptureを作られているので、自分が開発を継続する必要はなさそう、というのが正直なところ。
ちょっと自分にはアプローチの難易度が高いなーと思ってきた、というのもあります。
ただ、実際にWindowsAPIを使ったネイティブプラグインや、それを使えるようにする技術について、今まで以上に興味がわいたので非常に実りがあったのは間違いありません。
機会があれば再挑戦したいので(1)としましたが、今回はひとまず凹さんのライブラリが出るのを楽しみに待ちたいと思います。急がなくてよいので。

考えていたアプローチ

以下のような方法でアプローチするつもりだったのですが、「こういう手段もあるよ」などのアドバイスがあればご教授願えると嬉しいです。

  • DLLインジェクションを行い、個別に内部からスクショし、メモリアロケータを共有して表示。
    • それぞれの内部プロセスからはC#のFormを使ったスクショができるため、この方法が鉄板のように思います。
    • ただし、こちらの方法でもブラウザなどが正しくキャプチャできるかは少し疑問。実験したいですね。
  • デバイスドライバを偽装し、仮想ディスプレイと仮想デスクトップをメモリ上に構築、構築された空間内でデスクトップキャプチャすることでウィンドウの画像を取得。
    • これは今後、自分の中でできるようになりたい技術のトップなのですが、どうしたらできるかは五里霧中です。
    • ドライバの自作方法などは調べると出てきますが、存在しないディスプレイを作ってーとなるとまったく分からんです。

参考資料

以下はこの段階で参考にしていたリンクです。

13
8
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
13
8