これまで色々見聞きしてきてて忘れそう（というか忘れているのもいくつかありそう）なので、メモとして残しておきます。
今後もここに記録していこうかと思います。みなさんも他にご存知の環境があれば教えていただきたいです。
追記：増えてきたら分類したほうがいいかも...
OpenAIgym
ド定番の環境
Retro
レトロゲーム全般
pybullet
物理シミュレータを使った環境
TensorTrade
トレードの環境
OpenSpiel
ボードゲームの環境
ns3-gym
ネットワークの環境
Reco-gym
推薦の環境
Malmo
Minecraftの環境
MineRL
Minecraftの環境。Malmoに対してタスクが用意されている環境（ぽい）
dm_control
物理シミュレータを使った環境
osim-rl
骸骨の歩行タスク
gym-super-mario-gym
スーパーマリオの環境
ai-safety-gridworld
Safe RL環境用
lab
3D環境
pysc2
StarCraftⅡ
Hanabi
Hanabiというゲーム
Multi-agent-emergent-environments
マルチエージェントのHide and Seekなどを含む環境
VizDoom
Doomのビジュアライズ版の環境
AirSim
ドローンの操縦タスク
football
サッカー
Unity ML-agents
unityで強化学習エージェントを動かす環境
Obstacle Tower
ステージをクリアしていくタスク。
brax
高速な物理シミュレータ
Meta-world
Multi-task RL用の環境。
IKEA Furniture Assembly Environment
robosuite
ai2thor
iGibson
屋内ナビゲーションタスク
carla
自動運転
DeepGTAV v2
グラセフを自動運転研究用の環境にするプラグイン
Assistive gym
対人ロボットの環境
mini-grid
Third-Party Environments（追記）
OpenAI gymのThird-partyの環境のリンク集