日立 × 早稲田の共同研究グループ。ロボットの探究が好きでたまらない4人の研究ストーリー
少子高齢化社会における「労働力不足」への対策として期待されている分野の1つが、ロボットの活用です。近年ではセンシング技術や人工知能技術等の発達によって多種多様かつ大量なデータを収集し、処理することが可能になってきていることから、人間でいう「腕や指」にあたるロボットアームを、まるで人間が判断し、行動しているかのように動かす技術も登場してきており、従来では実現が難しかった手作業領域の自動化も目前に迫っている状況です。
今回は、そんな最先端のロボット制御技術を前進させる取り組みとして、日立製作所と早稲田大学による共同研究グループが進めている研究開発プロジェクトについてお話を伺いました。同グループが発表した成果は、2022年4月6日（現地日時）に発刊された国際学術誌「Science Robotics」に掲載されています。
▶︎ Hiroshi Ito, Kenjiro Yamamoto, Hiroki Mori, Tetsuya Ogata, “Efficient multitask learning with an embodied predictive model for door opening and entry with whole-body control”, Science Robotics, 6 April 2022, Vol 7, Issue 65
#DeepLearning and manual training taught a #robot to open a door successfully more than 96% of the time, completing 15 rounds of back-and-forth in 30 minutes. @tetsuyaogata1 @Hitachi_Japan @HitachiGlobal フラットボタン-red
om/waseda_univ?ref_src=twsrc%5Etfw”>@waseda_univ @tetsuyaogata1
📎: https://t.co/NdQHCKkQmb pic.twitter.com/9VeMYCW5EA— Science Robotics (@SciRobotics) April 6, 2022
具体的にどのような技術で、どのような経緯や葛藤を経て成果が導き出されたのか。4名のプロジェクトメンバーによる熱い研究ストーリーをレポートします。
日立製作所経験者採用実施中！
ロボティクスの知能化に関する研究開発
募集職種詳細はこちら
目次
プロフィール
国立研究開発法人産業技術総合研究所 人工知能研究センター 特定フェロー
次世代ロボット研究機構 客員主任研究員 / 研究院客員准教授
研究開発グループ サステナビリティ研究統括本部 制御・ロボティクスイノベーションセンタ ロボティクス研究部 主任研究員
研究開発グループ サステナビリティ研究統括本部 制御・ロボティクスイノベーションセンタ ロボティクス研究部
次の行動をリアルタイムに決定・実行できるロボット制御技術
――今回は早稲田大学と日立製作所の共同研究開発プロジェクトということで、まずはその概要を教えてください。
伊藤 : 一言でお伝えすると、「作業内容や環境が変化しても行動をリアルタイムに決定・実行可能な深層予測学習型のロボット制御技術」の研究開発です。プログラミングを必要とせず、ロボットの過去の学習内容と現実との差を認識して、次の行動をリアルタイムに決定・実行できることが特長です。
――具体的にはどういうことでしょうか？
伊藤 : 例えば布製のバッグやカバー、ケーブル、液体、粉体などを操作するロボットをイメージしてみてください。
従来の制御技術では、物体の向きや形状など、想定可能な動作についての大規模なデータを使って、最適な予測モデルを構築する必要がありました。なので、布製のバッグのような形状が細かく変わるものについては、ロボットがすべての状況に対応することが現実的に難しかったのです。
そこで今回のプロジェクトでは完全な予測モデルを目ざすのではなく、予測モデルの不完全性を前提にして、現場の状況とモデルの予測誤差を最小化するアルゴリズム（深層予測学習）を考えることになりました。人間の脳機能を参考に、未学習の状況下でも柔軟に作業できるような仕組みになっています。
こちらは開発技術を検証するために開発した「ドア開け」ロボットです。たしか5台目くらいですね。
ドア開けロボットに搭載されている「作業内容や環境が変化しても行動をリアルタイムに決定・実行可能な深層予測学習型のロボット制御技術」は、脳機能を参考とする深層予測学習技術と、深層予測学習を用いた動作生成技術、そして複数予測モデルのリアルタイム切替技術の3つの技術で成り立っている
――5台目！そんなに試作を繰り返したのですね。どのように動くのでしょうか？
伊藤 : 最下部に移動用のモジュール（車輪）がついているので、まずは「ドアへの接近動作」を行います。その後、「ドア開け動作」と「ドア通過動作」を個別に学習し、動作を組み合わせることで「ドア開け通過動作」ができるという流れです。
伊藤 : こちらの動画で、一連の動作で実行している処理を説明しています。現場の状況とモデルの予測誤差を最小化する深層予測学習によるロボット制御技術を用いて、自律的にドアを開けて通過する機能を実証したものです。
https://www.youtube.com/watch?v=pdOA-PeYO9Q
――リアルタイムで確信度を計算することで、「ドア開け動作」から「ドア通過動作」といった動作の切り替えタイミングや、動作の順番を、あらかじめプログラミングしなくても対応できるようになっている、ということなんですね。
伊藤 : そういうことです。動作を覚えるのに要する時間が大幅に短縮でき、実現する動作のバリエーションも豊富になる。ですから、様々な環境下で人の作業を支援するロボットとしての応用が期待できるものとなっています。
ロボットがドアを開けて通過するまでの一連の動作ができるようになったのは2年目の終わり
――今回は4名のプロジェクトメンバーの方にご参加いただいていますが、それぞれどのような役割を受け持たれていたのでしょうか？
伊藤 : 尾形先生には、動作生成モデルの基礎フレームワークに関するアドバイスや論文執筆、全体統括をしていただいています。
森先生には、研究全般のアドバイスとニューラルネットワークの勾配に基づく解析手法のアドバイス、それからご提案いただいた動作生成モデルの全体フレームワークの歴史的位置づけに関するアドバイス、そして論文執筆をご担当いただきました。
山本さんには同じ会社の大先輩として、研究の立案から研究資金の獲得、テーマ設計、研究管理、方針立案、実験評価、結果分析、デモコーディネート、その他様々な課題解決のためのアドバイスをいただいています。
そして僕は、実際にプロジェクトを進める人間として、ロボットの開発全般（機械設計以外のロボット制御、回路、システムの設計、製作）や、実験データの収集、深層予測学習を用いた動作生成モデルの実装と解析、そして複数予測モデルのリアルタイム切替技術の提案と論文執筆を、それぞれ進めています。
――ありがとうございます。今回のプロジェクトはどのようなきっかけでスタートしたのか、その経緯を教えてください。
山本 : 最初に計画をしたのは2014年でした。当時、日立は「EMIEW2」というロボットを開発していたのですが、EMIEW2にドアを開けさせたりペットボトルを持たせたりしたいよね、という話が出ていました。それを実現するには、やはり深層学習も必要だと考え、どこかと共同研究をしようと思っていたところ、たまたまロボット学会の理事会で尾形先生とお会いしたのです。もともと同じ大学で同じ研究をしていたものですから、その場でお話しして、一緒にやりましょうということになりました。
――もともと顔馴染みだったのですか？
尾形 : 学年は1つ違いますが、同じ大学の同じ研究室の同じ研究グループで、同じロボットを触っていたという、そのくらいのレベルの顔馴染みです（笑）
山本 : このような流れで、ちょうど伊藤さんが入社した2015年から、尾形先生の研究室との共同研究がスタートしました。その際に、まずは尾形先生の過去の研究をサーベイしようということで、実際にロボットを動かしました。
はじめはEMIEW2でドア開けにチャレンジしようと思ったのですが、ドアに手が届かなかったりしたので、EMIEW2の構成・骨組みをベースにしたロボットを作って進めました。
幅300mm、奥行き250mm、高さ800mmの「EMIEW2」では、13kgの二輪・四輪変形 脚車輪型移動機構という仕様だった（現在の最新版・EMIEW4とは仕様が違うのでご注意ください）
https://www.hitachi.co.jp/New/cnews/month/2007/11/1121.html
伊藤 : 先ほど、こちらのロボットは5台目とお伝えしましたが、最初は僕よりも大きな体格のものを作ってドア開けをさせていました。よくよく考えたらそんなに大きなパワーは要らないですし、そもそもドアも通りにくいということに気づきました。そこで、80cmほどのEMIEWよりもちょっとだけ高くて、もう少しパワーがあって、三輪で小回りの利く動きやすいものに改良して、この形になりました。
山本 : また、ドアを開けるためだけの手だけのロボットを作って、ドアの位置や色を変えたりなどして、検証も進めていきましたね。
伊藤 : ドアを開けて通過するまでの一連の動作ができるようになったのが共同研究を始めてから2年目の終わりで、現在の形になったのは3年目ですね。
――3年で実装して動かすところまで持っていかれたんですね。
山本 : ロボットのハードの仕様以外にも、学習のさせ方などもありまして、そういったところは共同研究でご意見を伺いながら作っていきました。
――このプロジェクトについて、尾形先生の印象に残っていることはありますか？
尾形 : NVIDIAが開催しているGTC Japan 2018に「マルチモーダル AI による自律ドア開け&通り抜け」のデモを出した時のことですね。会場でかなり良く動いていました。「Science Robotics」に掲載されたのは2022年ですが、デモとしては2018年の段階でかなり完成されていたのです。
伊藤 : こういうロボットって、実験室ではうまく動いても、違う環境に持っていくと全然動かなかったりします。そのため、会場でちゃんと動くか心配でしたが、社内で様々な場所でデモした際にノウハウやテクニックが身についていたお陰で、無事成功することが出来ました。これはやってよかったなと思います。
山本 : 最初は「ドアを押して向こう側に行く」ことしか想定していなかったんです。しかし、デモを見ていた方が「ドアを引いて戻れ」って言ったんですよ。急に言われても……と思いつつもギリギリまで頑張りました。午後に一生懸命対応してその場で決まった動きを覚えさせたら、結構すんなりとできちゃったんですよ。そういうエピソードもあって鍛えられました。
尾形 : 僕が2回目にデモを見たのはテレビでした。まさに、ここ「協創の森」で、窓のそばで自然光が降り注ぐ場所でのデモでした。
日立製作所がイノベーション創生を加速するために、東京都国分寺市にある中央研究所内に開設した研究開発拠点「協創の森」の様子
尾形 : 自然光が入る場所での安定した動作は、相当学習していたとしても難しいはずなんですよ。でも、「押し」も「引き」もほぼ安定して動いていたのを見て、「おぉすごいな！」と思いました。
「制御」「教え方」「カメラ」、それぞれが難しい課題だった
――ここまでお話を伺ってきた中でも、相当なチャレンジがあったのですね。特に技術的な難度が高いポイントは、どのあたりだったのでしょうか？
伊藤 : 大きく分けると3つあります。
まずは「制御」部分です。最初の頃は、学習させて動かした時にすごくカタカタと振動しながら動くんですよ。でも、学習したデータを見ても、何の問題もないんですよね。そんなはずはないということで、結構長い間議論をしたのですが、よくよく調べてみたら、モーターの受け付けるタイミングとAIが指令してくるタイミングがズレていて、それに起因してカタカタが発生していました。つまり、AIに加えてハードの特性を知らないと、ちゃんと動かないんだなということを学びました。
――議論の相手は山本さん、ということでしょうか？
伊藤 : そうです。山本さんはロボット技術に関して知見が深いため、すぐに「これはおかしい」と気づきました。自分なりに修正してきれいに動いていると思っていたのですが「もっと徹底的に調べなさい」と言われ、それこそ1つ1つの信号を調べ上げてきました。結果的に原因が分かりましたが、あれは僕一人じゃ分からなかったなと思います。先ほどお話しした、僕より大きいサイズのロボットを作っていた2年目くらいの話です。
――なるほど。2つ目はいかがでしょうか？
伊藤 : 「教え方」です。このロボットは引き戸については両手を使って開きます。しかし、動作をよくよく見てみると、子どものような開け方をしているわけです。
――と言いますと？
伊藤 : まず全身を使ってノブを引いた後、ちょっと下がって、自分の体をもぐり込ませてドアを開けます。大人はあまりやらないですが、子どもがよくやる動きなので、それを真似たらうまくいった。パワーの少ないロボットでいかに多様で複雑な動きをさせるか。その難しい課題を越えるためには、ロボットの特性に合わせた「教え方」が大切だったのです。
伊藤 : そして、3つ目は「カメラ」ですね。先ほど自然光の話が尾形先生からありました。どうやったら照明に対してロバストになるのか、という問題には随分と悩みました。例えば朝と夜では、明るさはもちろん影のでき方も変わります。それがカメラのセンサー値として返ってくるので、うまく動かない原因になっていました。
当初はオートエンコーダーを使っていました。しかし、そうではなく畳み込みを使って画像中のエッジなどを抽出するように学習させた方がよりロバストに動くかもしれない、と尾形先生からアドバイスをいただき、照明へのロバスト性を高めることができたと思っています。このあたりは、共同研究の中で相談ながら解決まで持っていきましたね。
山本 : それに加えて、どこを見ているかも調べましたよね。ドア以外のところにも重みがいってないかとか。
伊藤 : そうですね。そのアドバイスは森先生からいただきまして、このロボットが2018年に動いたというのは事実なのですが、なぜ動いているのかの解析はちゃんとできていなかったんです。とりあえずノウハウが溜まっていって、僕だけなら動かせる状態だったのですが、ロボットが動く理由は皆さん知りたいところですし、普及させるためには得体の知れない部分はなくす必要があります。
そうなった時に、森先生からニューラルネットワークの中身を可視化する方法をアドバイスしていただき、ロボットがどこに着目して動作をしているのかを明確にしていきました。
個人と個人の信頼関係で始まっているプロジェクトは上手くいく
――今しがた伊藤さんよりアドバイスの話がありましたが、森先生はどのような形で本プロジェクトに携っているのですか？
森 : 実はこのプロジェクト以外にも様々な取り組みを並行して一緒に進めています。頻繁にミーティングを行っているのですが、その度に成果が出てくるので逐一感想をお伝えしていって、また伊藤さんがいい感じに進めてくれるという、そのような立ち位置で携わっています。
伊藤 : 社会人博士で2018年から早稲田大学に通っていたので、森先生とはこのプロジェクト以外でも、様々な研究で毎週ディスカッションしていました。森先生はとてもロジカルなので、「なぜこれがこうなっているのか分からない」などストレートにご指摘いただきました。それがとても勉強になっていますし、僕があまり知らないような認知神経科学などの領域について、かなりアドバイスをいただけました。
例えば先ほどお伝えした「ロボットがどこを見ているか」という件で論文を書こうと思った時に、どういうストーリーがあって、どういう先行研究があって、どういう風に落とし込んでいけばいいのかを最初に相談したら、本や論文を紹介していただけて、とても勉強になりました。
森 : 教師あり学習で学習したニューラルネットワークの内部で「注意」が獲得される様子を可視化して、タスクの実行に適した表現を獲得するというものですね。なぜうまく動いているのか、と。論文を書くときも、全体のロジックを一緒に考えていきましたね。
――このような形で、日立さんのような企業と技術研究パートナーとして一緒に研究開発することについて、森先生はどのように感じていますか？
森 : 企業の方とやるというのはすごく新鮮ですし、いいところが多いと感じます。と言いますのも、技術力があるんですよね。学生との研究は、基礎的な技術から教えて、いいアイデアが出てきたら吸い上げるという感じなのですが、企業の方だとすでに技術があって、一歩進んだアイデアの議論ができるところから始められるので、そこが新鮮でいいなと思います。今回も、そこが上手く噛み合ったプロジェクトだったなと思います。
――ずばり、このような産学連携で上手くいくプロジェクトには、どんな条件があるとお感じですか？
森 : やっぱり人間関係と言いますか、信頼関係があるところかなと思います。個人と個人の信頼関係が強固な状態でスタートしているプロジェクトは、往々にして上手くいくなと感じます。
伊藤さんの社会人博士の入学が決まったタイミングに、みんなで飲み会をしたのですが、すごく和やかで前向きなムードがあるなと感じました。こういうポジティブなチームだと、研究もスムーズに進むんだと思います。
「実は企業と組んでいるという感覚はそれほどありません」
――先日、プロジェクトの成果が「Science Robotics」に掲載されましたが、改めて尾形先生から見て、このプロジェクトはどのように映っていますか？
尾形 : このプロジェクトの一番大事なところは「複数動作をどう実現するか」というところなんです。ドアを開けるだけでも十分難しいのですが、そういうレベルじゃないものになっているというのが非常に大きい。複数の動作を、順番を入れ替えられてもノイズをかけられても、人に邪魔されても動けるし、それを継続して続けることもできる。このターゲットそのものが、非常にインパクトがあるものでした。非常に大きな挑戦だったということです。
――企業と一緒に研究開発することの意義についてはいかがでしょう？
尾形 : 要するに「研究」ですよね。「こういうことをやろう」ということも含めて、みんなで考えるというのが大きいなと思います。成功するかしないかは分からない、ある種自由な研究として、何かに縛られることなく自由な発想で続けられたので、良い意味で企業と組んでいるという感覚はそれほどありません。本当に研究者と共同研究していたという感覚が強いです。
今回はドアの話が中心ですが、例えばチャックを開けるという作業についても、軌道計画に重要な情報を自動抽出する動作生成技術として、とても難しいものになり、様々なタスクに発展しています。
チャックの開閉処理における軌道計画に必要な情報を自動抽出する動作生成技術の仕組み
https://www.waseda.jp/top/news/73068
――今後、プロジェクトとしては、どんなことを目ざされていますか？
山本 : このプロジェクトのもう1つ大事なポイントは「プログラムしなくてもいい」ということです。例えば触覚はプログラミングするのが難しく、分布のセンサーなのでイチゼロでもない。それが深層学習を使うと、すごく早くできるようになります。だから「プログラムできないところ」をすぐに学習させてやってもらうという、そういう使い方を目ざしています。
もちろん、そこまで信頼性の研究はまだ進んでいないので、これからだとは思います。
――信頼性の研究という領域は、なかなか難しいところですね。
尾形 : 学習ベースのAIは「教えていないことに適応できるのが偉い」というストーリーなので、教えていないことをどうするかは、厳密には予測できないわけです。
保証をどうするのかとなったら、今のディープラーニング全ての問題になります。そして、失敗というのもいろんな定義があるだろうと。要するに、作業の性質を鑑みながら、信頼性の見方も変えなければなりませんし、完璧に成功しないシステムにどうやって付き合っていくのかということも、必要になってくるでしょう。
早稲田大学には「AIロボット研究所」があります。そこには理工系の先生方はもちろん、半分は政治や法律、ビジネスの先生方も所属しています。法的な観点や倫理的な観点、政策決定にあたるところも、AIをキーワードに研究されている先生方はものすごくたくさんいるので、ちゃんとそういう方々と議論をしていかないといけない。AIって、社会に対して不安を煽る側面もあるじゃないですか。だから、様々な側面から丁寧に説明していくことが非常に重要なんです。でも、そこが疎かになって、いったん「ダメ！」だとなったら、どんなに良い技術でも広まらなくなっちゃいますから。
内部でアピールして理解してもらえれば希望が叶うのが日立
――ここまで共同研究プロジェクトについて具体的に伺ってきましたが、日立製作所という職場環境で「いいな」と思うポイントを教えてください。
伊藤 : ボトムアップ でやらせてくれるところだと思います。具体的に内容をつめて提案をすれば、研究費をつけてくれたり、周りの方がサポートしてくれたりする環境が整っているのは、非常に良いなと思っています。
例えば、先ほど尾形先生の話にもありましたNVIDIAの展示会。「このロボットをNVIDIAの展示会に出したい」と部長に相談したら、すぐにOKが出ました。そのような場でデモを見せるということは、企業の看板を背負うことになるのですが「やってこい」と言っていただけたので、非常に良い体験になったなと感じます。もちろん、失敗しないように準備をする中で、自分自身も高められたなとも思います。
尾形 : 僕もすんなりと許可が出るとは思わなかったので驚きましたね。
山本 : ロボットの動きを見せると、共感・応援してくれる方も出てきます。その辺りを含めて内部でアピールして理解を得られれば、希望が叶う職場だと思います。それは、「EMIEW」や物流支援ロボット「Lapi」、搭乗型移動支援ロボット「ROPITS」のときも一緒で、すごく力になってくれました。
――山本さんは、2004年からずっとロボットの研究開発に取り組まれていると思いますが、これは希望されてのことだったのでしょうか？それともたまたまですか？
山本 : 言ってしまえばたまたまです。最初は脳の部分、つまりは知能ハードの方をやっていて、EMIEWを愛知万博に出す際にロボットの世界に戻ってきました。そこからは新しいロボットの立ち上げを次から次へと進めてきましたね。
――本当にたくさんのロボットに携わっていますよね。
山本 : やはり、出し続けなきゃいけないんですよ。どんなに大きなインパクトがあっても、3〜4年もすれば忘れ去られてしまいます。ここは醍醐味とは違うかもしれませんが、あくまでいつも通過点だと思っています。
まだやられていないけれど、現在の最新技術で頑張ればできるかもしれないことを考えると面白い
――先生方から読者の皆さまに向けて、物事を探求するという目線でのメッセージを、ぜひお願いします。
森 : 技術者でも「こんなこと、もうロボットでできてるじゃん」と思うことはあります。しかし、それは限定された状況でできているだけのこと。日常生活の中で人間が何気なくやっていることでも、ロボットがやろうとしても難しくてできていないことも、まだまだ多い。多くの技術開発では、条件を絞り込んであたかもできたように見せています。もちろん良い側面もいっぱいありますが、本質から外れているかもしれないなと思います。
今のロボット技術を観察していただいて、まだ実現していないけれど現在の最新技術で頑張ればできるかもしれないことを考えると、面白いかもしれません。その観点でタスクを切り出して、より広範な状況でできるようにするということを考えてみてはいかがでしょうか。
尾形 : このロボットの動かし方は普通のロボティクスの動かし方とは大きく異なります。ロボットらしいプログラムをしておらず、そこには学習をするプログラムだけがあります。こういうのって、非常に大きい変化なんですよ。
何をお伝えしたいかというと、学んでいることだけで保守的に固まらないでほしいなと思っています。自分で考えてオリジナリティを出すことは難しい。でも、せっかく世の中が変わってきているので、ぜひ違う視点から勉強して、自分の創造性を組み合わせて、自分らしいものを生み出せるように積極的に議論していってもらいたいなと思っています。
――今後、一緒に働くメンバーとしては、どんな人に日立に来てもらいたいでしょうか？
山本 : 失敗も含めて、様々なことにチャレンジしている人、チャレンジしていきたい人に来てほしいですね。
例えば、ハードをいじった経験ですとか、ソフトで何ができるかや限界が分かっているといいですね。
また、人間ってどうなっているのかな、という疑問を持てる人もいいですね。脳ってどうやって機能しているんだろう、ということに興味を持って考えることができる人ですね。
伊藤 : ロボットが好きな人ですね。ロボットを使って「こういうことをしたい」というモチベーションで取り組んでくれること、すごい嬉しいです。僕はこの仕事に取り組んだときに、最初は図体の大きなロボットでやっていましたが、いつかはEMIEWでドア開けをしたいという気持ちでやっていました。結果として少し違うロボットにはなりましたが、1つの目標は達成できたかなと思っています。
編集後記
最後の先生方からのメッセージ含め、ロボットという領域に限らず「ものごとを探究する」という観点で非常に示唆に富んだお話を伺うことができました。ロボットのことを考えるのが好きで好きでたまらない。そんな熱量を感じ続ける1時間半で、私自身、お話を伺いながら血湧き肉躍る気分になっていった次第です。
条件さえ整えば、こんなに自由に研究をやらせてくれるフィールドは、なかなかないのではないでしょうか。研究開発に身を投じたい人には、きっと最高の環境になるだろうと思います。
取材／文：長岡武司
撮影：平舘平
「Qiita×HITACHI」AI/データ×社会課題解決 コラボレーションサイト公開中！
「Qiita×HITACHI」AI/データ×社会課題解決 コラボレーションサイト公開中！
日立製作所の最新技術情報や取り組み事例などを紹介しています
コラボレーションサイトへ
日立製作所経験者採用実施中！
ロボティクスの知能化に関する研究開発
募集職種詳細はこちら
日立製作所の人とキャリアに関するコンテンツを発信中！
デジタルで社会の課題を解決する日立製作所の人とキャリアを知ることができます
Hitachi’s Digital Careersはこちら