プロジェクトの概要

こんにちは。しがない高校生をやっています。Basalte(ばざると)と申します。
普段はロボットやプロジェクションマッピングで遊んでいます。

今回のプロジェクトの概要です。
上の写真のような「Emriver」と呼ばれる水理実験装置が学校にあったので、その標高の分布に合わせてリアルタイムで色分けをするプロジェクションマッピングをしました。

「Emriver」とは地学の実験装置で、上流から水が流れ、海を模した場所まで水が流れ落ちるとポンプで循環して上流に向かいます。
水量や砂の量などを自由に変更して川やその周辺の地形変化を観察することができます。

有名なものだと三角州、扇状地、河岸段丘などは聞いたことがあると思います。そのような地形を模した実験を行うことができます。

その地形の変化をリアルタイムで捉える装置を開発しました。

文化祭、学校説明会などで展示しています。

こちらは最新の作品の様子です。

PC画面でリアルタイムに点群データをいじれるようにしました
保存、ポーズ、画質の変更などの機能もあります pic.twitter.com/lLWEk7Tb8D
— basalte(ばざると) (@basalte1199) November 4, 2023

アイデア

世の中には砂場をキラキラさせるという製品がゴロゴロとあり、そちらを見て水理実験装置なら独自性を出せて面白い展示が作れるんじゃないかなと思い始めました。

もともとプロジェクションマッピング自体は触っていて、RealSenseを活用できる場所を探していたので、本当に丁度いいテーマが見つかったなといった感じでした。

技術スタック

・Anaconda
・OpenCV
・RealSense D415
・librealsense2
・numpy
そもそもlibrealsense2がnumpyに依存しているので...
RealSense D435とD415で動作確認を取っています。

重要！！

Intelの中村さんからカメラを借りさせて頂いています！本当にありがとうございます！

実はRealSense貸出でニーズあるの高校生ぐらいなんですよ。学園祭などで使いたいとのこと。今日はその貸出の成果を見てきました！今の学生は頭いいなーというのが率直な感想！！！ pic.twitter.com/zY8yFXSTFh
— Takumi-san@RealSense (@TakumiRealSense) September 17, 2023

設置

ハードウェアの説明です。

すこし暗くて分かりにくいですが、手前に脚立、奥にプロジェクターがあるのが分かるかと思います。

脚立はPCとカメラを固定するために使っており、奥のプロジェクターは

プロジェクター用の三脚

このリンクのような三脚を使って固定しています。

この設備だけでどう位置を設定するか気になったそこのあなた！そう！こちらプロ設置屋(自分)が位置合わせを手動でやる脳筋設置なのです！

ソフトウェア

実際はもう少し画像処理やってたりプロジェクターとPCで映像のフレーム処理が違ったりするのですが、細かいことを無視するとこのような感じになります。

RealSenseからDepthとRGBを分けてフレームを受け取る処理はIntel様が公開しているsampleとほぼ同じです。

プロジェクターに投影してる映像は深度情報から地図のように色分けしたもののみです。
また、高さの上限下限を設定していて、それ以外の情報は描画しないようになっています。
これにより、小さい範囲に絞る設定にすれば小さい地形の変化を反映させることができます。

PCの管理画面ではプロジェクターの色分け映像のほか、3DのColorデータも見ることができ、ボタン操作で画質の変更(sampleからお借りしました)や.plyファイルの保存等を行うことができます。

動作映像はこちらです。

最近は、物理部と共同でemriverという流水実験装置の地形を、プロジェクションマッピングを用いて可視化する試みています。
完成が待ち遠しいですね❗️😃 pic.twitter.com/MXnJlhNgZK
— 海城中高地学部(新) (@earth_kaijo_2) June 19, 2023

質問等はこちらに、リプやDMしていただけるとありがたいです。
BasalteのTwitter

コードはこちらで公開しています。
本当は色々新しいことを試したりして100ぐらいpythonのファイルがあったりexeファイル化してるリポジトリがあったりするのですが、汚すぎてやばいので(公開しているものも大概ですが)Privateにしてます
https://github.com/basalte1199/terrainshare_new