はじめに
皆さん、こんにちわ!
ABEJAアドベントカレンダー2021の9日目の記事です。
ABEJAではPMをやっておりますが、前職は15年くらい新商品開発、新規開発をおこなう部署で機械設計、研究をしていました。趣味でJDLA G検定とE資格を取得して、AIの社会実装に携わりたいと思って2020年2月よりABEJAに参画しました。
今回はNeRF: Neural Radiance Fieldsの派生論文について被引用数といいねの数とリツート数でランキングを作成しました。
結果だけを知りたい方はこちらに降順で並べたリストを貼ってます。
NeRFについては私が3DCADやBlenderで3Dモデルを作ってるからか、なにか面白そうだぞと興味を持ちました。
GANを超える勢いで論文が発表されていると言われるほどに派生論文が多く、どの論文が注目されているのかわからなかったので、arXiv apiとTwitter apiを使って引用数といいね数とリツイート数を足した指標を作りランキングにしてみました。
NeRFとは
複数の画像から自由な視点でのビューを生成することができます。
座標と視線情報をインプットとして色と密度情報をアウトプットしています。
この派生であるNeRF in the wildでは、インターネットから収集した画像を使って、歴史的建築物を復元しています。
天候や時刻が違ったり、人が映り込んでいたりといった撮影環境が違う画像を使っても学習できるようにしています。
こちらはまるでその場を探検しているかのような体験ができて素敵なのでぜひ見て欲しいです!
各種まとめについて
サーベイ論文やまとめた情報が出ています。
- サーベイ論文
- 日本語での情報はこちらがわかりやすく、まとまっていると思います。
- awesome-NeRF( https://github.com/yenchenlin/awesome-NeRF )
ランキングを作るための手順
手順はこちらです。主にTwitter apiの仕様がわかっていなかったので、いろいろ途中で方針修正しています。
最初に考えた手順
-
arXiv apiを使って「NeRF」で検索し、タイトル、リンク、筆頭著者、投稿日をテーブルにする
-
Semantic Scholar APIを使って、各論文の被引用数を算出してテーブルに追加
-
Twitter APIを使って、arXivのリンクを加工してから検索し、いいねとリツイートの数を合計してテーブルに追加
-
awesome-NeRF( https://github.com/yenchenlin/awesome-NeRF ) のタグ付を追加
いろいろと手順を修正
- 「NeRF」での検索だといくつかの論文を拾えなかったので手動でタイトルを検索して追加するコードを作る予定
- 2021/12/9時点では未実施
- 無料の範囲だとキーワード検索をするTwitter Search APIは、1週間分の検索しかできないことに気づいた
- 特定ユーザーのタイムライン取得であれば3200件まで可能なのでだいたいの論文を投稿ししていた
Twitter:@AK92501
さんのいいね数とリツイート数を集計するように変更- 結果的に、特定ユーザーのツイートで見ることでフェアな条件で比較できているような気がする
- 特定ユーザーのタイムライン取得であれば3200件まで可能なのでだいたいの論文を投稿ししていた
- 2021年5月くらいまでしか取得できなかったので、それより前については手動で検索
実装コードはキレイにして、気が向いたら載せようかと思います。
可視化してみる
被引用数の可視化
引用されるまでに時間がかかるため、最新の論文の注目度がわからず、過去の論文が有利になっています。
いいね数とツイート数の足し算で可視化
こちらの方がより注目度がわかる気がします。
ツイートがなかった時や、うまく検索できていなかった時に注目の論文を拾えない可能性があるので、被引用数といいね数とツイート数の合計で評価ができそうです。
タグごとに被引用数といいね数とツイート数の合計で可視化
タグ付が全て埋まっていないのですが、タグごとに可視化するとよりわかりやすい気がします。
ランキング結果
2021/12/1時点での値です。
被引用数といいね数とツイート数の合計が大きい順に並べています。
「NeRF」で検索しただけだと、いくつか抜けているのでそのうち手動で追加して修正する予定です。
Twitterでserch_keywordを使って検索すると論文、projectページ、簡単なGIFが貼ってあるものが出てきて見やすいのでオススメです。
method | first_author | search_keyword | tag | published | citation | like | tweet | like_tweet | citation_like_tweet | title |
---|---|---|---|---|---|---|---|---|---|---|
NeRF | Ren Ng | arxiv.org/abs/2003.08934 | 2020-03-19 | 573 | 451 | 161 | 612 | 1185 | NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis | |
NeRF in the Wild | Daniel Duckworth | arxiv.org/abs/2008.02268 | Unconstrained Images | 2020-08-05 | 137 | 407 | 116 | 523 | 660 | NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections |
KiloNeRF | Andreas Geiger | arxiv.org/abs/2103.13744 | Faster Inference | 2021-03-25 | 28 | 394 | 88 | 482 | 510 | KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs |
NeRF-VAE | Danilo J. Rezende | arxiv.org/abs/2104.00587 | Generalization | 2021-04-01 | 13 | 305 | 78 | 383 | 396 | NeRF-VAE: A Geometry Aware 3D Scene Generative Model |
NeRF-- | Victor Adrian Prisacariu | arxiv.org/abs/2102.07064 | Pose Estimation | 2021-02-14 | 27 | 246 | 48 | 294 | 321 | NeRF--: Neural Radiance Fields Without Known Camera Parameters |
FastNeRF | Julien Valentin | arxiv.org/abs/2103.10380 | Faster Inference | 2021-03-18 | 25 | 232 | 53 | 285 | 310 | FastNeRF: High-Fidelity Neural Rendering at 200FPS |
NeRF++ | Vladlen Koltun | arxiv.org/abs/2010.07492 | Compositionality | 2020-10-15 | 80 | 179 | 43 | 222 | 302 | NeRF++: Analyzing and Improving Neural Radiance Fields |
PlenOctrees for Real-time Rendering of Neural Radiance Fields | Angjoo Kanazawa | arxiv.org/abs/2103.14024 | Faster Inference | 2021-03-25 | 37 | 215 | 48 | 263 | 300 | PlenOctrees for Real-time Rendering of Neural Radiance Fields |
pixelNeRF | Angjoo Kanazawa | arxiv.org/abs/2012.02190 | Generalization | 2020-12-03 | 80 | 150 | 25 | 175 | 255 | pixelNeRF: Neural Radiance Fields from One or Few Images |
NeRF in the Dark | Jonathan T. Barron | arxiv.org/abs/2111.13679 | 2021-11-26 | 0 | 193 | 37 | 230 | 230 | NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images | |
TöRF | Matthew O'Toole | arxiv.org/abs/2109.15271 | Generalization | 2021-09-30 | 3 | 187 | 37 | 224 | 227 | TöRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis |
D-NeRF | Francesc Moreno-Noguer | arxiv.org/abs/2011.13961 | Deformable | 2020-11-27 | 85 | 105 | 20 | 125 | 210 | D-NeRF: Neural Radiance Fields for Dynamic Scenes |
Urban Radiance Fields | Vittorio Ferrari | arxiv.org/abs/2111.14643 | 2021-11-29 | 0 | 152 | 41 | 193 | 193 | Urban Radiance Fields | |
CodeNeRF | Lourdes Agapito | arxiv.org/abs/2109.01750 | Generalization | 2021-09-03 | 7 | 155 | 28 | 183 | 190 | CodeNeRF: Disentangled Neural Radiance Fields for Object Categories |
CIPS-3D | Qi Tian | arxiv.org/abs/2110.09788 | 2021-10-19 | 0 | 159 | 29 | 188 | 188 | CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis | |
Neural Sparse Voxel Fields | Christian Theobalt | arxiv.org/abs/2007.11571 | Faster Inference | 2020-07-22 | 126 | 48 | 8 | 56 | 182 | Neural Sparse Voxel Fields |
NeRS | Deva Ramanan | arxiv.org/abs/2110.07604 | 2021-10-14 | 0 | 149 | 22 | 171 | 171 | NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild | |
Mip-NeRF 360 | Peter Hedman | arxiv.org/abs/2111.12077 | 2021-11-23 | 0 | 146 | 24 | 170 | 170 | Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields | |
Putting NeRF on a Diet | Pieter Abbeel | arxiv.org/abs/2104.00677 | Generalization | 2021-04-01 | 4 | 125 | 32 | 157 | 161 | Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis |
BARF | Simon Lucey | arxiv.org/abs/2104.06405 | Pose Estimation | 2021-04-13 | 14 | 113 | 22 | 135 | 149 | BARF: Bundle-Adjusting Neural Radiance Fields |
Direct Voxel Grid Optimization | Hwann-Tzong Chen | arxiv.org/abs/2111.11215 | Faster Training | 2021-11-22 | 1 | 122 | 20 | 142 | 143 | Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction |
Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation | Adam R. Kosiorek | arxiv.org/abs/2104.01148 | 2021-04-02 | 6 | 112 | 21 | 133 | 139 | Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation | |
AD-NeRF | Juyong Zhang | arxiv.org/abs/2103.11078 | 2021-03-20 | 4 | 107 | 25 | 132 | 136 | AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis | |
Depth-supervised NeRF | Deva Ramanan | arxiv.org/abs/2107.02791 | Faster Training | 2021-07-06 | 10 | 107 | 18 | 125 | 135 | Depth-supervised NeRF: Fewer Views and Faster Training for Free |
Recursive-NeRF | Shi-Min Hu | arxiv.org/abs/2105.09103 | 2021-05-19 | 0 | 116 | 18 | 134 | 134 | Recursive-NeRF: An Efficient and Dynamically Growing NeRF | |
Stylizing 3D Scene via Implicit Representation and HyperNetwork | Wei-Chen Chiu | arxiv.org/abs/2105.13016 | 2021-05-27 | 1 | 97 | 26 | 123 | 124 | Stylizing 3D Scene via Implicit Representation and HyperNetwork | |
Non-Rigid Neural Radiance Fields | Christian Theobalt | arxiv.org/abs/2012.12247 | Deformable | 2020-12-22 | 37 | 69 | 13 | 82 | 119 | Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video |
Portrait Neural Radiance Fields from a Single Image | Jia-Bin Huang | arxiv.org/abs/2012.05903 | Generalization | 2020-12-10 | 22 | 76 | 14 | 90 | 112 | Portrait Neural Radiance Fields from a Single Image |
GeoNeRF | François Fleuret | arxiv.org/abs/2111.13539 | 2021-11-26 | 0 | 84 | 19 | 103 | 103 | GeoNeRF: Generalizing NeRF with Geometry Priors | |
Dynamic View Synthesis from Dynamic Monocular Video | Jia-Bin Huang | arxiv.org/abs/2105.06468 | Video | 2021-05-13 | 14 | 76 | 12 | 88 | 102 | Dynamic View Synthesis from Dynamic Monocular Video |
MINE | Gim Hee Lee | arxiv.org/abs/2103.14910 | Generalization | 2021-03-27 | 4 | 86 | 12 | 98 | 102 | MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthesis |
INeRF | Tsung-Yi Lin | arxiv.org/abs/2012.05877 | Pose Estimation | 2020-12-10 | 26 | 64 | 12 | 76 | 102 | INeRF: Inverting Neural Radiance Fields for Pose Estimation |
Neural Rays for Occlusion-aware Image-based Rendering | Wenping Wang | arxiv.org/abs/2107.13421 | Generalization | 2021-07-28 | 2 | 81 | 16 | 97 | 99 | Neural Rays for Occlusion-aware Image-based Rendering |
A-NeRF | Helge Rhodin | arxiv.org/abs/2102.06199 | Pose Estimation | 2021-02-11 | 1 | 78 | 14 | 92 | 93 | A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose |
NeRFactor | Jonathan T. Barron | arxiv.org/abs/2106.01970 | Lighting | 2021-06-03 | 11 | 66 | 14 | 80 | 91 | NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination |
Learning Compositional Radiance Fields of Dynamic Human Heads | Michael Zollhöfer | arxiv.org/abs/2012.09955 | Compositionality | 2020-12-17 | 15 | 63 | 13 | 76 | 91 | Learning Compositional Radiance Fields of Dynamic Human Heads |
DIVeR | David Forsyth | arxiv.org/abs/2111.10427 | 2021-11-19 | 0 | 68 | 13 | 81 | 81 | DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering | |
HDR-NeRF | Qing Wang | arxiv.org/abs/2111.14451 | 2021-11-29 | 0 | 62 | 10 | 72 | 72 | HDR-NeRF: High Dynamic Range Neural Radiance Fields | |
Editing Conditional Radiance Fields | Bryan Russell | arxiv.org/abs/2105.06466 | Editing | 2021-05-13 | 5 | 52 | 15 | 67 | 72 | Editing Conditional Radiance Fields |
FLAME-in-NeRF | Dimitris Samaras | arxiv.org/abs/2108.04913 | 2021-08-10 | 1 | 56 | 13 | 69 | 70 | FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation | |
NeRF in detail | Andrew Zisserman | arxiv.org/abs/2106.05264 | 2021-06-09 | 4 | 55 | 11 | 66 | 70 | NeRF in detail: Learning to sample for view synthesis | |
GNeRF | Jingyi Yu | arxiv.org/abs/2103.15606 | Pose Estimation | 2021-03-29 | 10 | 51 | 9 | 60 | 70 | GNeRF: GAN-based Neural Radiance Field without Posed Camera |
DeRF | Andrea Tagliasacchi | arxiv.org/abs/2011.12490 | Faster Inference | 2020-11-25 | 26 | 35 | 9 | 44 | 70 | DeRF: Decomposed Radiance Fields |
Differentiable Surface Rendering via Non-Differentiable Sampling | Zhoutong Zhang | arxiv.org/abs/2108.04886 | 2021-08-10 | 1 | 58 | 9 | 67 | 68 | Differentiable Surface Rendering via Non-Differentiable Sampling | |
Stereo Radiance Fields (SRF) | Gerard Pons-Moll | arxiv.org/abs/2104.06935 | Generalization | 2021-04-14 | 11 | 46 | 9 | 55 | 66 | Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes |
Mip-NeRF | Pratul P. Srinivasan | arxiv.org/abs/2103.13415 | Multi-scale | 2021-03-24 | 20 | 35 | 5 | 40 | 60 | Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields |
Dex-NeRF | Ken Goldberg | arxiv.org/abs/2110.14217 | 2021-10-27 | 0 | 49 | 10 | 59 | 59 | Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects | |
NeuralMVS | Sven Behnke | arxiv.org/abs/2108.03880 | 2021-08-09 | 2 | 46 | 10 | 56 | 58 | NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis | |
VaxNeRF | Shixiang Shane Gu | arxiv.org/abs/2111.13112 | 2021-11-25 | 0 | 51 | 5 | 56 | 56 | VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field | |
FiG-NeRF | Matthew Brown | arxiv.org/abs/2104.08418 | Object Category Modeling | 2021-04-17 | 5 | 41 | 5 | 46 | 51 | FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling |
Deblur-NeRF | Pedro V. Sander | arxiv.org/abs/2111.14292 | 2021-11-29 | 0 | 47 | 3 | 50 | 50 | Deblur-NeRF: Neural Radiance Fields from Blurry Images | |
MVSNeRF | Hao Su | arxiv.org/abs/2103.15595 | Generalization | 2021-03-29 | 18 | 25 | 4 | 29 | 47 | MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo |
Neural-PIL | Hendrik P. A. Lensch | arxiv.org/abs/2110.14373 | 2021-10-27 | 1 | 32 | 6 | 38 | 39 | Neural-PIL: Neural Pre-Integrated Lighting for Reflectance Decomposition | |
Object-Centric Neural Scene Rendering | Thomas Funkhouser | arxiv.org/abs/2012.08503 | Compositionality | 2020-12-15 | 14 | 24 | 1 | 25 | 39 | Object-Centric Neural Scene Rendering |
Self-Calibrating Neural Radiance Fields | Jaesik Park | arxiv.org/abs/2108.13826 | Pose Estimation | 2021-08-31 | 7 | 24 | 6 | 30 | 37 | Self-Calibrating Neural Radiance Fields |
3D Neural Scene Representations for Visuomotor Control | Antonio Torralba | arxiv.org/abs/2107.04004 | 2021-07-08 | 2 | 26 | 3 | 29 | 31 | 3D Neural Scene Representations for Visuomotor Control | |
Neural Trajectory Fields for Dynamic Novel View Synthesis | Orazio Gallo | arxiv.org/abs/2105.05994 | 2021-05-12 | 1 | 21 | 6 | 27 | 28 | Neural Trajectory Fields for Dynamic Novel View Synthesis | |
UNISURF | Andreas Geiger | arxiv.org/abs/2104.10078 | Model Reconstruction | 2021-04-20 | 22 | 0 | 0 | 0 | 22 | UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction |
Baking Neural Radiance Fields for Real-Time View Synthesis | Paul Debevec | arxiv.org/abs/2103.14645 | 2021-03-26 | 22 | 0 | 0 | 0 | 22 | Baking Neural Radiance Fields for Real-Time View Synthesis | |
Nerfies | Ricardo Martin-Brualla | arxiv.org/abs/2011.12948 | 2020-11-25 | 16 | 0 | 0 | 0 | 16 | Nerfies: Deformable Neural Radiance Fields | |
DONeRF | Markus Steinberger | arxiv.org/abs/2103.03231 | Faster Inference | 2021-03-04 | 13 | 0 | 0 | 0 | 13 | DONeRF: Towards Real-Time Rendering of Compact Neural Radiance Fields using Depth Oracle Networks |
NeuS | Wenping Wang | arxiv.org/abs/2106.10689 | Model Reconstruction | 2021-06-20 | 10 | 0 | 0 | 0 | 10 | NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction |
In-Place Scene Labelling and Understanding with Implicit Scene Representation | Andrew J. Davison | arxiv.org/abs/2103.15875 | Scene Labelling and Understanding | 2021-03-29 | 10 | 0 | 0 | 0 | 10 | In-Place Scene Labelling and Understanding with Implicit Scene Representation |
Editable Free-viewpoint Video Using a Layered Neural Representation | Jingyi Yu | arxiv.org/abs/2104.14786 | Editing | 2021-04-30 | 9 | 0 | 0 | 0 | 9 | Editable Free-viewpoint Video Using a Layered Neural Representation |
HyperNeRF | Steven M. Seitz | arxiv.org/abs/2106.13228 | 2021-06-24 | 8 | 0 | 0 | 0 | 8 | HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields | |
Neural Volume Rendering | Lin Yen-Chen | arxiv.org/abs/2101.05204 | 2020-12-17 | 6 | 0 | 0 | 0 | 6 | Neural Volume Rendering: NeRF And Beyond | |
StyleNeRF | Christian Theobalt | arxiv.org/abs/2110.08985 | Generalization | 2021-10-18 | 4 | 0 | 0 | 0 | 4 | StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis |
NerfingMVS | Jie Zhou | arxiv.org/abs/2109.01129 | Depth Estimation | 2021-09-02 | 3 | 0 | 0 | 0 | 3 | NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo |
Vision-Only Robot Navigation in a Neural Radiance World | Mac Schwager | arxiv.org/abs/2110.00168 | 2021-10-01 | 2 | 0 | 0 | 0 | 2 | Vision-Only Robot Navigation in a Neural Radiance World | |
Animatable Neural Radiance Fields from Monocular RGB Videos | Huchuan Lu | arxiv.org/abs/2106.13629 | Deformable | 2021-06-25 | 2 | 0 | 0 | 0 | 2 | Animatable Neural Radiance Fields from Monocular RGB Videos |
Non-line-of-Sight Imaging via Neural Transient Fields | Jingyi Yu | arxiv.org/abs/2101.00373 | 2021-01-02 | 2 | 0 | 0 | 0 | 2 | Non-line-of-Sight Imaging via Neural Transient Fields | |
Neural Human Performer | Henry Fuchs | arxiv.org/abs/2109.07448 | 2021-09-15 | 1 | 0 | 0 | 0 | 1 | Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering | |
UltraSR | Humphrey Shi | arxiv.org/abs/2103.12716 | 2021-03-23 | 1 | 0 | 0 | 0 | 1 | UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution | |
Template NeRF | Qingfu Zhang | arxiv.org/abs/2111.04237 | 2021-11-08 | 0 | 0 | 0 | 0 | 0 | Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images | |
LENS | Arnaud de La Fortelle | arxiv.org/abs/2110.06558 | 2021-10-13 | 0 | 0 | 0 | 0 | 0 | LENS: Localization enhanced by NeRF synthesis | |
Stochastic Neural Radiance Fields | Francesc Moreno-Noguer | arxiv.org/abs/2109.02123 | 2021-09-05 | 0 | 0 | 0 | 0 | 0 | Stochastic Neural Radiance Fields: Quantifying Uncertainty in Implicit 3D Representations | |
iButter | Jingyi Yu | arxiv.org/abs/2108.05577 | 2021-08-12 | 0 | 0 | 0 | 0 | 0 | iButter: Neural Interactive Bullet Time Generator for Human Free-viewpoint Rendering | |
Vision-based Neural Scene Representations for Spacecraft | Dario Izzo | arxiv.org/abs/2105.06405 | 2021-05-11 | 0 | 0 | 0 | 0 | 0 | Vision-based Neural Scene Representations for Spacecraft | |
Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry | Dario Izzo | arxiv.org/abs/2104.09877 | 2021-04-20 | 0 | 0 | 0 | 0 | 0 | Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry |
ランキング下位の中での注目論文
ランキングでは下位になりましたがNerfiesは話題になっていたと思います。
最後に
手動での追加なしに自動で漏れなく論文を収集するにはどうしたらいいかなとか、
被引用数やいいね数、リツート数の時系列変化とかも追えるともっと面白いかなとか、
いろいろと妄想は膨らみますが、いったんの目的は果たせたかなと思います。
ABEJAには技術・事業双方に知見を持つメンバーがたくさんいます。
少しでもご興味のある方、採用募集しておりますのでぜひお声がけください!
【募集職種一覧はこちら!】