修士課程に入った2015年当初、「人間も勝手に障害物を認識できたらなー」、「ついでに、電気刺激みたいなもので自分を操縦してくれたらなー」などと考えていたらしく、そのときに調べた関連研究のEvernoteメモが見つかった。共有。
- 視覚以外での方向提示
- 障害物回避
に関するもの。ただし、自分に向けたEvernoteメモからの抜粋なので、すごい雑です。すみません。
電気刺激で人を操縦する研究
・Cruise Control for Pedestrians: Controlling Walking Direction using Electrical Muscle Stimulation
論文: http://dl.acm.org/citation.cfm?id=2702190
動画: https://www.youtube.com/watch?v=JSfnm_HoUv4
道案内。これまでと違うのは、電気刺激を用いることで、使用者が意識しないでも方向転換できること。障害物への対応としては、「使用者が簡単にoverrideできる」って言ってる。これって結局、「前見てなきゃ障害物は避けれないよ」ってこと。
電気刺激で人を操縦する研究(上)のRelated Work
・Pocketnavigator: Vibro-tactile waypoint navigation for everyday mobile devices(2010)
バイブレーションの種類で道を伝える。マップベースのナビゲーション。
・NaviRadar: A Tactile Information Display for Pedestrian Navigation(2011)
Pocketnavigatorとは違ったバイブレーションの提示の仕方。Pocketnavigatorよりはいい！っていう結果。future workは、もっと短い周期の場合を検証すること、GPSの誤りや方位の誤りに適用すること、など。
・Guiding Blind People with Haptic Feedback
たぶん、両手首にリストバンド的なデバイスをつけると、これまでのいろんな研究がまた新たな形で使えるよ！こっちのがいいよ！みたいな話。どんな振動パターンで道を示そうか、とか。
・Activebelt: Belt-type wearable tactile display for directional navigation(2004)
８方向に振動素子を入れたベルト。
・Tactile wayfinder: A non-visual support system for wayfinding(2008)
activebeltを補完によって連続的なものにした。
・Haptic handheld wayfinder with pseudo-attraction force for pedestrians with visual impairments(2009)
仮想力覚をつかって方向を提示。
・HAPMAP: Haptic walking navigation system with support by the sense of handrail(2011)
サーボを制御することで方向を提示するデバイス。手で持つ。
・Pull-Navi: A novel tactile navigation interface by pulling the ears(2009)
耳を引っ張って方向を提示。
・Gilded gait: Reshaping the urban experience with augmented footsteps(2010)
地面のテクスチャを判断して、靴の中敷のバイブレーションが振動する靴型デバイス。土なのかアスファルトなのか、とかを判別する。
・CabBoots: Shoes with integrated guidance system(2011)
固定障害物をポテンシャル法みたいな感じで避けるために、斜面を作り出す靴。
・Effects of galvanic vestibular stimulation during human walking(1999)
pdfがない。まあどうせ、GVSで平衡感覚に刺激を与える話。提示方法の話。
・Shaking the world: Galvanic vestibular stimulation as a novel sensation interface(2005)
それを発展させたデバイスを開発したってやつ。
その他の障害物回避、ナビゲーションなど
・Supporting Blind Navigation using Depth Sensing and Sonification(UbiComp2013)
目の不自由な人を、障害物の多い部屋でナビゲートする。そのためにKinectを首からさげて持っている。障害物情報の提示の仕方は、音。ヘッドフォンをつけて、左右どっちの耳から聞こえるか、音の高さはどうか、音の大きさはどうか、などで障害物の位置を判断する。杖を同時に使ったりもする。
https://www.youtube.com/watch?v=NlTx8xbz2zw
この動画を見る限り、ゆっくりと立ち止まって確認しながら障害物を避ける感じ。アイディアは似ているけど、移動障害物は想定していないし、それがなくてもこのシステムだけじゃ歩きスマホなんかできない状況
・Wearable RGBD indoor navigation system for the blind(ECCV2014)
ちょっとやってること近いかもしれない。
visual odometry: the process of determining the position and orientation of a robot by analyzing the associated camera images
システムには、スマートフォンインターフェイスと、RGBDカメラと、リアルタイムのナビゲーションアルゴリズムと、音と振動によるフィードバックが含まれている。また、voxelmapに3次元での通れるかどうかの解析も表示している。ノートパソコンで28.4Hz。RGBDカメラって多分赤外使ってるから、結局これも室内。3D形状を復元して曲がったりしてるんだよねー。こっちとしては曲がらないでもいいんだよねー。
・IntelliNavi: Navigation for Blind Based on Kinect and Machine Learning(MIWAI2014)
既存の技術を使って、目の不自由な人をナビゲーションするウェアラブルシステム。コンピュータビジョンだとか機械学習だとか、なにかとうるさい。結局この人は、ものの配置などが既知の室内で、Kinectを使って「椅子」とか「机」とかを認識して(SVMとBOVW)、人をナビゲートしてるだけ。しかも、使ってる計算的に遅くなっちゃうらしい。そして最終的に、白杖強いって言ってる。
・RGB-D image-based detection of stairs, pedestrian crosswalks and traffic signs(2014)
RGB-Dカメラを使って、横断歩道と階段と信号を認識している。外なのに注目！横断歩道と階段は、RGB画像を用いたハフ変換で直線を検出し、そのあとデプス画像を使ってどちらか判別している。信号は、「待て」マークのテンプレートマッチング的な感じで赤と青を判別している。そして注目のRGB-Dカメラを使って外でやっている件に関してだが、「太陽光が強すぎるとデプス画像をうまくとれない。だから、デプス画像の使用はRGBに比べて限定される」と言っている。
・Emerging Techniques in Vision-based Indoor Localization(2015)
調査論文。しかも2015！！でも、室内かつLocalization。
・A Context-Aware-Based Audio Guidance System for Blind People Using a Multimodal Profile Model(2014)
足元に向けられたレーザーセンサと、カメラ画像をうまく組み合わせる。従来のRGB-Dカメラは赤外を照射しているから、太陽光の影響をもろに受ける。それを解決するために、カメラとレーザーセンサを使う。
・Kinect cane: an assistive system for the visually impaired based on the concept of object recognition aid(2015)
・Kinectを用いたメガローバーの制御による障害物回避走行（YouTubeの動画）
https://www.youtube.com/watch?v=VGKIYxlWHUs
** ・An overview of mobile solutions and applications for navigating visually impaired people**
読めない！でも絶対読みたい！2014年の調査論文！スマホだけ？を使ったナビゲーションシステムについてだいたい分かりそう！
昔の研究
・人間と共存するロボットのための回避行動の生成(1996)
（第１報、人間の運動の確率的予測とマニピュレータの回避計画）
人間の動きを予測して（確率的に）、ロボットの動きを制御。
ロボットは移動しない。
・人間と共存するロボットのための回避行動の生成(1997)
（第２報、移動ロボットの移動障害物回避）
一般的な移動障害物に対して、固定障害物回避報の拡張みたいな研究はある。
これらは、障害物の運動の不確実性が小さい場合にのみ有効。
また、不確実性が大きい場合に対する研究もいろいろある。
ここでは回避過程を、動作予測、危険度の評価、経路の決定の３ステップに分割する。