Foundation Model & Roboticsの動向 
はじめに
はじめまして（お久しぶりです）。
とあるロボット研究者です。詳細はX(Twitter)をご覧ください。
まだまだ弊研究室では博士学生募集してますので、ロボット、XR、AI、HCI、教育ご興味あればDMください。
本記事は基盤モデル×Robotics Advent Calendar 2023の15日目の記事です！
Foundation Models & Roboticsの動向を簡単にですが書ければと思います。
本来であれば何か一つの手法の論文の解説記事を書こうとしていたんですが、、、
12/13に突如以下の論文がarXivに投稿されたことによって、Foundation Models & Roboticsの動向を書くことにしました。
結果的にはサーベイ論文やおすすめサイトを紹介するだけになってしましたが...すみません
論文のFoundation Models in Robotics: Applications, Challenges, and the Futureの著者陣は様々な大学・企業からなるメンバーです。馬力がつよそうです。
論文サイト
アブストにこのFoundation Models in Robotics: Applications, Challenges, and the Futureの
論文のGithubのpageがあると書いていました。
以下リンクをご覧ください。
https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models
参照しやすいようにweb上にまとめられているのは便利ですね。
ちなみに
以下に私がこれまで基盤モデルとロボティクス関係で作成した資料を貼っています。よければ事前知識としてお読みください。
- 【TRAILブログ】基盤モデルとは何か知りたい方はこちらへ
- 【TRAILブログ】RT-1:マルチモーダルなロボティクス基盤モデルへの期待 ~Robotics Transformer 1~
- 【講義資料】Foundation Model and Robotics | 基盤モデルとロボティクス
- 【アドカレ】基盤モデル×Robotics Advent Calendar 2022（昨年は皆様ご協力頂きありがとうございました。）
ちなみに＊２ 
私の記事以外にも、東大松尾研、JSK、慶応杉浦先生、robotpaper.challengeのグループがとても良い資料をあげてくださってますので、合わせてご覧ください。(私の資料より1000000000000000000000000倍良いです！)
- RSJ2023「基盤モデルの実ロボット応用」チュートリアル1（既存の基盤モデルを実ロボットに応用する方法）
- RSJ2023「基盤モデルの実ロボット応用」チュートリアル2（実ロボット用の基盤モデルを作って活用する方法）
- how will foundation models change robotics
- 大規模言語・視覚モデルを用いたロボティクス基盤モデル
Foundation Models & Roboticsの動向へ 
Foundation Models & Roboticsの動向を１から調べて、全部書くのはとてつもない時間と労力がかかります。
（既にFoundation Models & Robotics系の論文が400本くらい（それ以上）ここ１年ででているのではないかと思います。）
とてもとても全部読んでいたら大変なので、世の中にはサーベイ論文というものがあります。（時間があれば全部よみたいですが....）
サーベイ論文とは色々ありますが...
あるテーマに対して、専門家が網羅的に解説した論文。
と思って頂いて良いかと思います。いわゆるその研究分野の道標でもあり、轍でもあり、とにかく専門家が膨大な時間を費やして後世のために作成して頂いた論文です。
なのでFoundation Models & Roboticsの動向を知りたい場合はFoundation Models & Robotics系のサーベイ論文を読めば良いということになります。（*今回紹介するのはarXiv等に投稿されているpreprintなので、どの情報を信じるかはご自身で判断されてください）
Foundation Models & Roboticsのサーベイ論文
それではいくつかFoundation Models & Roboticsのサーベイ論文を紹介しようと思います。
[サーベイ論文①]Foundation Models in Robotics: Applications, Challenges, and the Future
著者：Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager
*引用
この論文の目玉のひとつである図をのせました。
サーベイ論文は様々な研究を適切に分類しつつ、今後の研究者への道標の論文ともなるので、とても勉強になります。話題のRT-Xものっていますね👀
この論文ではRoboticsとRelevant to Roboticsと分類したようですね。Roboticsの中にはRobot Transformersとあって面白いですね。
[サーベイ論文②]Robot Learning in the Era of Foundation Models: A Survey
2023/11/24に「Robot Learning in the Era of Foundation Models: A Survey」というタイトルででています。 https://arxiv.org/abs/2311.14379
こちらの基盤モデルとロボットのサーベイ論文ではこのようにまとめられています。
著者：Xuan Xiao, Jiahang Liu, Zhipeng Wang, Yanmin Zhou, Yong Qi, Qian Cheng, Bin He, Shuo Jiang
*引用
Downstream Tasks for Robot Learningをカテゴリ別に分類した概念図です。
- Manipulation
- Navigation
- Planning
- Reasoning
と分類していますね。
[サーベイ論文③]Survey on Multimodal Transformers for Robots
こちらは基盤モデルというよりかは、Transformerを軸に書いている論文です。
こちらの論文も非常に参考になるかと思います。
著者：Kazuki Miyazawa ,Takayuki Nagai
*引用
ロボットにおけるトランスフォーマーモデルの使用をまとめた図です。モデルは、事前学習あり（pre-trained）、部分的な使用（partial use）、統合的な使用（integrated use）の観点から分類されています。
[サーベイ論文④]Large Language Models for Robotics: A Survey
こちらはLarge Language Modelsをロボットに応用したサーベイ論文です。
著者：Fanlong Zeng, Wensheng Gan, Yongheng Wang, Ning Liu, Philip S. Yu
*引用
- Perception
- Decision-making
- Control
- Interaction
と分類していますね。GameやSimulatorの観点等が出てきているのも面白いですね。
このほかにもまだまだあると思いますが、あれば教えてください！
最後に
今回は簡単な論文（preprint）紹介ではありますが、もし興味があるかたは論文を読んでみると面白いかもしれません。ざっとあげただけでもそれぞれ異なる視点から書かれており、論理展開が面白いと思います。
これらのように、基盤モデルを活用したロボット研究や基盤モデルそのものをつくる研究等がでてきている印象です。本サイトが少しでも皆様の参考になれば幸いです。
日本のロボット研究もまだまだ戦っていけると思っているので、これから頑張りたいです！
（時代がデータを大量に集める流れになっていますが、傍ら少量のデータでの研究もまだまだでている印象です。さて次の時代の覇権を握るのはロボット版基盤モデルなのでしょうか。それとも・・・）
簡単ではありますが、12/15の担当記事でした。去年も誕生日にRT-1の記事を投稿してますね...卒論、修論、博論、仕事納めなどなど年末年始忙しい時期ですが、くれぐれも体調にはお気をつけください！
- 【TRAILブログ】RT-1:マルチモーダルなロボティクス基盤モデルへの期待 ~Robotics Transformer 1~
P. S.
まだまだ弊研究室では博士学生募集してますので、ロボット、XR、AI、HCI、教育ご興味あればX(Twitter)までDMください