基盤モデル×Robotics関係の参考サイト集

はじめに

基盤モデル×RoboticsのAdventCalendarの6日目です！
（残り40分で7日目に....時間が...今回はゆるく書きます...何卒です。）

今回は基盤モデル関係で私がざーっと調べたおすすめサイトを共有させて頂きます！
他にもおすすめサイトや論文あればぜひコメントで教えてください！！！

基盤モデル×Robotics Advent Calendarはこちらへ

基盤モデル関係おすすめサイト

私がざーっと調べたおすすめサイトを共有させて頂きます！
他にもおすすめサイトや論文あればぜひコメントで教えてください！！！

• On the Opportunities and Risks of Foundation Models
• 【メタサーベイ】基盤モデル / Foundation Models
• ソニー社内講演】拡散モデルと基盤モデル

• 2022.9.7 NAIST DSCサマーセミナー「Vision and Language技術の最新動向」

• 【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models

• 巨大な基盤モデルはもはや言語だけのものではない、波がロボット制御にも到来

• AI開発の新たなパラダイム「基盤モデル」とは

• 画像生成AI Advent Calendar 2022

• DIS22 Keynote: Foundation models - the future of enterprise AI? - Hagay Lupesko, Meta AI

• Workshop on Foundation Models: Day 1

• コンピュータビジョン最前線 Summer 2022

ロボット応用

• Do As I Can, Not As I Say:Grounding Language in Robotic Affordances
• Code as Policies
• Housekeep：Tidying Virtual Households using Commonsense Reasoning
• CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
• VIMA: General Robot Manipulation with Multimodal Prompts
• CLIPort: What and Where Pathways for Robotic Manipulation
• ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts

おまけ

ほんとうはモデル毎に全部調べてみようと思ったんですが、、、間に合いませんでした。。。すみません。

モデルリスト

Language Solver

• Transformer
• BERT
• GPT
• Megatron
• T5
• Megatron-Turning NLG
• Gopher
• Chinchilla
• PaLM

Vision Solver

• ViT

Audio Solver

• wav2vec
• wav2vec 2.0
• HuBERT
• XLS-R

Language and Vision Solver

• CLIP

Audio and Vision Solver

• Perceiver

Text to Image Generator

• DALL・E
• GLIDE
• DALL・E2
• Imagen
• Parti

Multi Modal Solver

• Perceiver IO
• Gato

自然言語処理(NLP)

Transformer

• Self-Attention(自己注意)機構により系列データを一括同時処理可能

---

• 参考
• Transformerとは？AI自然言語学習の技術を解説
• 深層学習界の大前提Transformerの論文解説！

BERT

• BERTとは、Bidirectional Encoder Representations from Transformers の略で、2018年10月にGoogleのJacob Devlinらの論文で発表された自然言語処理モデル

---

• 参考
• BERTとは｜Googleが誇る自然言語処理モデルの仕組み、特徴を解説

GPT

• GPT-1〜3まであり、拡張される度にパラメータすう/学習テキストが一気に増加
• ChatGPT
• GPT-3はFine-tuningなしで20種類以上の事前言語処理タスクに適応

---

• 参考
• Language Models are Few-Shot Learners

---

こちらもぜひ！！！

• １日目

• ２日目

• ３日目

• ４日目

• ５日目