普段いる場所とは異なる環境に身を置くと、コンフォートゾーンではなくなり一定のストレスがかかる一方で、学びが加速する傾向が強いことも事実です。研究においても然り。普段の研究チームとは違うメンバーでプロジェクトを行うと、価値観やアプローチ、得意領域が異なるからこそ、慣れ親しんだ枠内では考えられないような創発的な発想につながり、ブレイクスルーが起きやすくなることも多いと言えます。

今回は、2018年〜2020年にかけて日立製作所の研究員として、ドイツ人工知能研究センター（Deutsches Forschungszentrum für Künstliche Intelligenz、以下：DFKI）に身を置いた研究者に、現地での研究内容や学び、得られた成果、そしてその先に描かれている未来像について、それぞれ詳しく伺いました。

プロフィール

新倉 雄大（にいくら たけひろ）

株式会社日立製作所

研究開発グループ先端AIイノベーションセンタ 知能ビジョン研究部 研究員

東京大学大学院にて高速カメラを用いた画像処理を研究したのちに、2014年4月に日立製作所横浜研究所に入社。2015年から中央研究所 CTI（テクノロジーイノベーションセンタ）にて主に画像処理・信号処理の研究を行った後に、2018年4月からHitachi Europe GmbH.に出向し、DFKI（ドイツ人工知能研究センタ）との共同研究プロジェクトに参画。2020年4月にCOVID-19の影響で一時帰国し、同年10月にはドイツに戻ることなく帰任。近年は特に、ウェアラブルセンサを用いた人行動認識を中心に研究を進めている。

世界トップレベルの研究者が集まるDFKI

――まずは、日立へ入社された理由や、その後ヨーロッパに出向されてDFKIと共同研究させるようになったきっかけを教えてください。

新倉：大学院で高速カメラを使った画像処理の研究を行っていまして、その専門性をきちんと活かしたいなと考え、様々な会社の面接を受けました。その中で、日立ならば博士卒の研究者が専門性を十分に活かすことができると思い入社しました。

2014年に入社した直後は横浜研究所に配属され、2年目からは中央研究所で画像処理や信号処理の研究を行っていました。その後、2018年にドイツ出向の打診をいただき、面白そうだったので、DFKI行きを決めました。

単身でドイツに渡り、日立社員どころか日本人すらほとんどいない環境で、私も研究に没頭させてもらいました。

――なるほど。研究内容のお話を伺う前に、現地のことを少し知りたいのですが、そもそもコミュニケーションは何語なのでしょう？英語ですか？

新倉：研究者は基本的に英語です。
もともと聞いたり読んだり書いたりはできたのですが、喋ることについては、何もトレーニングをしていなかったので、苦労しました。相手の言っていることは大体分かるのですが、それに対する返答がなかなか言葉にできず、フラストレーションはありましたね。

――慣れるのが大変そうですね。

新倉：慣れるのに半年くらいかかりましたね。ただ、向こうで住んでいた家の大家さんがすごくフレンドリーな方で、よく家に呼んでいただいて一緒に食事したりしていました。拙い英語でもリラックスして喋る機会があったのは、すごくありがたかったなと思います。

――それはいいですね。研究所としてのDFKIは、いかがでしたか？

新倉：名前が「人工知能研究センター」というだけあって、世界トップレベルの研究者が集まっており、集まった研究者がそれぞれの分野での専門性をもっていました。だからこそ、自分はあまり詳しくない分野の話も聞けたりするので、そこはすごく面白いなと感じました。

2020年4月にCOVID-19の影響で一時帰国し、そのまま同年10月に帰任しました。
今は現地での研究内容を活かして、ウェアラブルセンサを用いた人の行動認識の研究を進めています。

工場作業者を、AIで行動認識して支援するのが最初のコンセプト

――DFKIではどのような研究をされていたのでしょうか？経緯の部分も含めて教えてください。

新倉：私の研究内容を説明する前に、2016年〜2018年にDFKIに出向していた前任者の研究内容からお伝えします。私が来る前までは、工場作業者の業務を行動認識して、AIを活用した作業者の支援ができる仕組みを作ろうという話が、大きなバックグランドとしてありました。

人の行動認識は「HAR（Human Activity Recognition）」と呼ばれる領域なのですが、固定カメラベースの完全カスタマイズシステムを用いて研究することが多く、工場で使おうとするとセットアップが大変なんです。

固定された画角内にターゲットが入らないこともあるので、新しい開発が必要になることもありますし、各カメラの設定に対する感度もバラつきがあります。
だからこそ、日立としては、ウェアラブルセンサを使って行動認識をする、という研究の流れになりました。

――具体的にはどういう形でセンシングをするのでしょうか？

新倉：目線をトラッキングできるARメガネと、手の動きを認識できるバンドを、それぞれ作業者につけてもらいます。目の先に何があるかについては画像認識で、腕がどんな動きをしているかについては機械学習で、それぞれ認識作業を進めていくことになります。

新倉：2017年になると、同じ学習でも、より少ないデータで効率的に学習できる行動認識技術（few-shot / zero-shot learning）を採用して、全身センサ（Perception Neuron）を使用した多種多様な全身ポーズの認識研究をスタートさせました。

――目線チェックがなくなったのですね。

新倉：そうですね。メガネ型デバイスに頼ることなく、複数のオブジェクトの位置関係から視線の位置を推定する技術を使う方向へとシフトしました。

新倉：さらに2018年には、技術実装のターゲットを「作業における初学者」と位置付けて、熟練者と初学者の「比較」から、技術伝承の解決に向けた実装の研究を進めることになりました。

――「比較」とは、どういうことでしょうか

新倉：以下は熟練者と初心者がものを持ち上げる動画をキャプチャしたものなのですが、左上に緑色でスコアが書いてあると思います。熟練者の動きに対して初学者のスコアは低くなるようになっており、このような差分でスキルを定量化する仕組みの研究に進みました。

展示会をきっかけに「人間の疲労をいかに評価するか」軸にシフト

――ここまでが、新倉さんが2018年にドイツに行かれるまでの研究内容ということですよね。前任者とチェンジされて、最初にどんなことに着手されたのでしょうか？

新倉：およそ1年間は色々と模索していって、状況が変わったのは2019年4月でした。ドイツ・ハノーヴァーで開催されていたCeBIT（セビット=ドイツのハノーバーで毎年開催されているBtoBソリューションの国際情報通信技術見本市）で研究内容のデモプロダクト出展をする機会があって、そこでいろいろなフィードバックをいただいたのです。
そのフィードバックで、当初想定していたような人の作業内容の差が分かるのも良いが、そもそも「疲労や負荷をきちんと評価したい」というニーズが強いことが、浮き彫りになったのです。
そうであれば、そこにフォーカスして技術開発をするのが良いだろうとなり、2019年からは「疲労や負荷の評価」という方向にシフトしました。

――「疲労や負荷をきちんと評価したい」というニーズの裏には、どんな背景があたのでしょうか？

新倉：世界的な労働力不足です。コロナ禍で若干の状況は変わったものの、採用した人がずっと心地よく働き続けることができるようにしたいというニーズや、体力的にどんな人であっても働ける職場環境を作りたいというニーズが多くありました。

――なるほど。それまでの研究に対して、新倉さんが2019年以降に進めていった研究についても教えてください。

新倉：研究のポイントとしては、まず、センサの受容性の課題を解決することでした。先ほどお見せした比較画像からも分かるとおり、センサを全身にびっちりとつけて、それらを紐で固定化して動きを測定する、ということをやっています。

現在ほとんどのデバイスはそのようなもので、いくら技術的に可能だといっても、現場で受け入れてもらえないのは必至です。

研究として進める分には問題ないのでしょうが、現場で使ってもらうという観点で、ここを抜本的に変える必要がありました。

――現場からは間違いなく嫌がられますね。特に夏のように半袖の場合は、センサを直接腕とかに付けなければいけないので、煩わしいですね。

新倉：まさにそういうことです。そんな中、これもたまたまなのですが、先ほどお伝えしたCeBITの会場に、スマートアパレルの開発・販売を行なっている株式会社Xenoma（ゼノマ）さんも出展していたのです。同社では、カメラ無しでモーションキャプチャーができる「e-skin」を開発していました。その技術を活かしながら「人間の疲労をいかに評価するか」という切り口で、日立の日本サイドと協力しながら研究開発を進めることになりました。

作業者の負荷情報を見える化する

――「疲労の評価」って、定量化が難しそうですね。

新倉：おっしゃる通り、かなり主観が入り込む余地のあるものです。ですので、本人の大変さは切り離し、負荷の大きさにフォーカスするようにしました。
全体の仕組みとしてはこちらの通り、e-skinのセンサデータから作業者の骨格情報を計算して、そこから姿勢の負荷値を算出するという流れになります。

――姿勢の負荷値計算とは、具体的にどういうことなのでしょうか？

新倉：そもそもe-skinには、加速度やジャイロ、地磁気といったIMUセンサが各身体部位にセットされていて、その部位の動きを計測できるようになっています。伸縮性のある生地が採用されているので、作業者としてはセンサを付けているという感覚が随分と少なくなります。
この衣服型センサを使って、まずは着用者の骨格情報を抽出します。

新倉：その上で、姿勢に基づく身体負荷アセスメントである「RULA指標」に基づいて、腕や胴体の角度、脚の状態からスコア計算をして、それらの総合的に評価。テーブルに基づいたスコア表から、最終的な負荷値を算出しています。

▼Xenomaに関する記事を読む
働く現場作業員をもっと楽に。作業負荷を可視化する「ウェアラブルAI」開発の日立とXenomaがめざす世界

――これは面白いですね！いろいろなことが分かりそうなのですが、どんな用途での活用が考えられるのでしょうか？

新倉：作業者の負荷情報を見える化することで、どの作業にどんな負荷がどのタイミングで発生しているかがわかるので、作業内容を改善したり、作業現場そのものを改善するといったことが期待されます。また、各作業者の負荷状況に応じた作業の振り分けもできるでしょう。

――なるほど。逆に、現時点では難しいことは、何かありますか？

新倉：センサーの位置や数の観点で、例えば首の動きなどを取ることは難しいでしょう。将来的にヘルメットをかぶってもらって取得するなどはあるかもしれませんが、現時点では難しいですね。

とはいえ労働災害の内訳を見ると、腰や肩の関節を痛めることが多い状況なので、現時点では上半身の計測だけであっても、十分に機能していると感じています。

将来的には、個人に合わせた作業支援システムにまで高めていきたい

――すごく面白い研究だと思います。新倉さんがこの研究を今後、どのような方向へと目指されているのか、教えてください。

新倉：今の時点では「身体にかかる負荷を評価する」ということしかできていませんが、使う側の目線に立ってみると、負荷がかかることと怪我や痛い状態になることの間には、まだギャップがあると思っています。今後の研究開発で、そこの橋渡しが今以上にできたらいいなと思っています。

――橋渡しとは、どんなイメージでしょうか？

新倉：言語化が難しいのですが、同じ負荷の数字であっても、人によって負荷の許容量は違いますよね。この人だったらこれくらいの負荷は大丈夫、この人はこの程度の負荷でも継続すると厳しいなど。そのパーソナルな身体状態を示す情報と負荷情報を照らし合わせることで、日々の作業の中でフィードバックして、アシストできるようにできたらなと思っています。

今は負荷が高いか低いかだけのアナウンスなので、そういう意味で、橋渡しをしたいということです。

――なるほど。そこがクリアされると、作業現場のコンサルとかもできそうですね。

新倉：そうですね。例えば工場内で新しいラインを作るときに、そもそも負荷の少ないラインを設計するといったご支援もできるようになるでしょう。

――目指すところとしてとても高い目標だと思うのですが、それに対して、新倉さんが技術者として大事にされていることも、ぜひ教えていただきたいです。

新倉：基本は、自分が面白いと感じることにきちんと取り組む、ということですね。面白くないと学べないですし、気持ちが入っていることの方が、自分で積極的に動けると思います。

――すごく大事ですね。新倉さんの気持ちが上がるテーマって、やはりこの画像処理領域の技術でしょうか？

新倉：今回の取材をお受けするということで、少し自分の人生を棚卸して振り返ってみたのですが、根本としてあるのは「人の行動理解」というテーマだと感じました。

先ほどの目指す世界とも重なる話なのですが、理想の状態と比較されて「あなたはここが違うよ」と言われたとしても、言われた側としては「じゃあどうすれば良いんだ？」ってなるわけです。大学時代は研究の他に塾の講師をやっていたこともあって、これもある意味で、僕が見えている世界をどうやって伝えるかという観点で熟練者と初学者の関係性に近いですよね。

その人の行動認識を可視化することで、その結果をうまく反映し、よりよく仕事をして生活して、その結果をさらに可視化して、さらなる快適さへとつなげていく。こんな感じで、人と機械の世界の中でぐるぐると回っていくような形で、最終的にきちんと人に返していけたらと考えています。

日立は、学びたい人にとっては最高の環境だと思う

――技術者として、日立製作所という場にどんな魅力があると感じますか？

新倉：単純に働きやすい環境だと思います。技術者としての立場以前に、ワークライフバランスがとりやすくて、例えば同じチームで動いているパパさんなんかは、平日の朝晩で子どもの送り迎えをしていて、それを当たり前の環境として受け入れています。

技術者としての観点ですと、技術レベルの高い研究者が多いので、とても刺激的だと思います。日々の研究もそうですし、例えば私の所属する先端AIイノベーションセンタでは、自発的に勉強会を定例で開いていて、各々が見つけてきた論文を共有していたりします。

また、自分の作った技術が世の中に出ていき、多くの人に使ってもらえるというのも、当然ながら嬉しいですね。そこに幸せを感じる人にとっては、特に良い環境かなと思います。

――日立の研究者としてドイツに行かれたことで、成長したなと感じることがあれば、ぜひ教えてください。

新倉：技術的に学ぶことももちろん多かったですが、成長という観点ですと、一番はコミュニケーションの部分かなと感じています。

具体的には、分からないことを分からないままにしない。一般的な話として、日本人同士だとなんとなくで、仕事を進めがちだと思うんですよ。

でも向こうだと、きちんと議論して詰めていくというのが、ある種当たり前の文化としてあります。当然ながら、分からないことはズバズバと聞いていくわけです。その姿勢については、今でも大いに活かせていると思います。

――今後、どんな人と一緒に働きたいでしょうか？

新倉：技術をより深めていくような探究心がありつつ、一方で研究だけに閉じないで、どうやって世の中に活かせるか、どんな価値になるかを考えながら、研究開発をしていける人にとっては、最高の環境だと思いますし、そういう人と一緒に働きたいですね。

日立には博士の専門性を活かせる場面が多くありますし、修士の人には博士取得の支援制度もあるので、学びたい人にとってはすごく良い職場なのではないでしょうか。

――ありがとうございます。それでは最後に、読者の皆さまに向けて一言お願いします！

新倉：今お伝えした通り、日立は技術者として働きやすい環境だと思いますし、テーマとして面白いものもいっぱい転がっているし、人を大事にしてくれる会社だと思います。

やりたいことがあれば、きっとやらせてくれる会社なので、何か深く探究したいことのある方は、ぜひ一緒に研究開発をしましょう！

編集後記

DFKIといえば、先日国外初のラボを大阪府立大学に設置する計画を発表したばかりで、日本にとってもより身近な存在になってきています。そんなDFKIと日立製作所との共同研究は、もう十数年にもなるとのこと。
研究者にとって、アプローチの多様性は非常に重要な観点の一つだといえ、DFKIをはじめとする諸外国への出向制度は、非常に魅力的だなと感じた次第です。最後に新倉様がおっしゃっていた通り、学びを深めたい方にとっては、なんとも魅力的な環境なのではないでしょうか。

取材／文：長岡 武司
撮影：太田 善章