LoginSignup
31
11

More than 1 year has passed since last update.

2021年注目のNeRF: Neural Radiance Fieldsの派生論文について被引用数といいねの数でランキングした

Last updated at Posted at 2021-12-09

はじめに

皆さん、こんにちわ!

ABEJAアドベントカレンダー2021の9日目の記事です。

ABEJAではPMをやっておりますが、前職は15年くらい新商品開発、新規開発をおこなう部署で機械設計、研究をしていました。趣味でJDLA G検定とE資格を取得して、AIの社会実装に携わりたいと思って2020年2月よりABEJAに参画しました。

今回はNeRF: Neural Radiance Fieldsの派生論文について被引用数といいねの数とリツート数でランキングを作成しました。
結果だけを知りたい方はこちらに降順で並べたリストを貼ってます。
NeRFについては私が3DCADやBlenderで3Dモデルを作ってるからか、なにか面白そうだぞと興味を持ちました。
GANを超える勢いで論文が発表されていると言われるほどに派生論文が多く、どの論文が注目されているのかわからなかったので、arXiv apiとTwitter apiを使って引用数といいね数とリツイート数を足した指標を作りランキングにしてみました。

NeRFとは

複数の画像から自由な視点でのビューを生成することができます。
座標と視線情報をインプットとして色と密度情報をアウトプットしています。

この派生であるNeRF in the wildでは、インターネットから収集した画像を使って、歴史的建築物を復元しています。
天候や時刻が違ったり、人が映り込んでいたりといった撮影環境が違う画像を使っても学習できるようにしています。
こちらはまるでその場を探検しているかのような体験ができて素敵なのでぜひ見て欲しいです!

各種まとめについて

サーベイ論文やまとめた情報が出ています。

ランキングを作るための手順

手順はこちらです。主にTwitter apiの仕様がわかっていなかったので、いろいろ途中で方針修正しています。

最初に考えた手順

  1. arXiv apiを使って「NeRF」で検索し、タイトル、リンク、筆頭著者、投稿日をテーブルにする

  2. Semantic Scholar APIを使って、各論文の被引用数を算出してテーブルに追加

  3. Twitter APIを使って、arXivのリンクを加工してから検索し、いいねとリツイートの数を合計してテーブルに追加

  4. awesome-NeRF( https://github.com/yenchenlin/awesome-NeRF ) のタグ付を追加

いろいろと手順を修正

  • 「NeRF」での検索だといくつかの論文を拾えなかったので手動でタイトルを検索して追加するコードを作る予定
    • 2021/12/9時点では未実施
  • 無料の範囲だとキーワード検索をするTwitter Search APIは、1週間分の検索しかできないことに気づいた
    • 特定ユーザーのタイムライン取得であれば3200件まで可能なのでだいたいの論文を投稿ししていたTwitter:@AK92501さんのいいね数とリツイート数を集計するように変更
      • 結果的に、特定ユーザーのツイートで見ることでフェアな条件で比較できているような気がする
  • 2021年5月くらいまでしか取得できなかったので、それより前については手動で検索

実装コードはキレイにして、気が向いたら載せようかと思います。

可視化してみる

被引用数の可視化

引用されるまでに時間がかかるため、最新の論文の注目度がわからず、過去の論文が有利になっています。
被引用数.png

いいね数とツイート数の足し算で可視化

こちらの方がより注目度がわかる気がします。
ツイートがなかった時や、うまく検索できていなかった時に注目の論文を拾えない可能性があるので、被引用数といいね数とツイート数の合計で評価ができそうです。
いいね数+リツイート数.png

タグごとに被引用数といいね数とツイート数の合計で可視化

タグ付が全て埋まっていないのですが、タグごとに可視化するとよりわかりやすい気がします。
タグごとに被引用数+いいね数+リツイート数.png

ランキング結果

2021/12/1時点での値です。
被引用数といいね数とツイート数の合計が大きい順に並べています。
「NeRF」で検索しただけだと、いくつか抜けているのでそのうち手動で追加して修正する予定です。
Twitterでserch_keywordを使って検索すると論文、projectページ、簡単なGIFが貼ってあるものが出てきて見やすいのでオススメです。

method first_author search_keyword tag published citation like tweet like_tweet citation_like_tweet title
NeRF Ren Ng arxiv.org/abs/2003.08934 2020-03-19 573 451 161 612 1185 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF in the Wild Daniel Duckworth arxiv.org/abs/2008.02268 Unconstrained Images 2020-08-05 137 407 116 523 660 NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
KiloNeRF Andreas Geiger arxiv.org/abs/2103.13744 Faster Inference 2021-03-25 28 394 88 482 510 KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs
NeRF-VAE Danilo J. Rezende arxiv.org/abs/2104.00587 Generalization 2021-04-01 13 305 78 383 396 NeRF-VAE: A Geometry Aware 3D Scene Generative Model
NeRF-- Victor Adrian Prisacariu arxiv.org/abs/2102.07064 Pose Estimation 2021-02-14 27 246 48 294 321 NeRF--: Neural Radiance Fields Without Known Camera Parameters
FastNeRF Julien Valentin arxiv.org/abs/2103.10380 Faster Inference 2021-03-18 25 232 53 285 310 FastNeRF: High-Fidelity Neural Rendering at 200FPS
NeRF++ Vladlen Koltun arxiv.org/abs/2010.07492 Compositionality 2020-10-15 80 179 43 222 302 NeRF++: Analyzing and Improving Neural Radiance Fields
PlenOctrees for Real-time Rendering of Neural Radiance Fields Angjoo Kanazawa arxiv.org/abs/2103.14024 Faster Inference 2021-03-25 37 215 48 263 300 PlenOctrees for Real-time Rendering of Neural Radiance Fields
pixelNeRF Angjoo Kanazawa arxiv.org/abs/2012.02190 Generalization 2020-12-03 80 150 25 175 255 pixelNeRF: Neural Radiance Fields from One or Few Images
NeRF in the Dark Jonathan T. Barron arxiv.org/abs/2111.13679 2021-11-26 0 193 37 230 230 NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images
TöRF Matthew O'Toole arxiv.org/abs/2109.15271 Generalization 2021-09-30 3 187 37 224 227 TöRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis
D-NeRF Francesc Moreno-Noguer arxiv.org/abs/2011.13961 Deformable 2020-11-27 85 105 20 125 210 D-NeRF: Neural Radiance Fields for Dynamic Scenes
Urban Radiance Fields Vittorio Ferrari arxiv.org/abs/2111.14643 2021-11-29 0 152 41 193 193 Urban Radiance Fields
CodeNeRF Lourdes Agapito arxiv.org/abs/2109.01750 Generalization 2021-09-03 7 155 28 183 190 CodeNeRF: Disentangled Neural Radiance Fields for Object Categories
CIPS-3D Qi Tian arxiv.org/abs/2110.09788 2021-10-19 0 159 29 188 188 CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
Neural Sparse Voxel Fields Christian Theobalt arxiv.org/abs/2007.11571 Faster Inference 2020-07-22 126 48 8 56 182 Neural Sparse Voxel Fields
NeRS Deva Ramanan arxiv.org/abs/2110.07604 2021-10-14 0 149 22 171 171 NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild
Mip-NeRF 360 Peter Hedman arxiv.org/abs/2111.12077 2021-11-23 0 146 24 170 170 Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
Putting NeRF on a Diet Pieter Abbeel arxiv.org/abs/2104.00677 Generalization 2021-04-01 4 125 32 157 161 Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis
BARF Simon Lucey arxiv.org/abs/2104.06405 Pose Estimation 2021-04-13 14 113 22 135 149 BARF: Bundle-Adjusting Neural Radiance Fields
Direct Voxel Grid Optimization Hwann-Tzong Chen arxiv.org/abs/2111.11215 Faster Training 2021-11-22 1 122 20 142 143 Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction
Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation Adam R. Kosiorek arxiv.org/abs/2104.01148 2021-04-02 6 112 21 133 139 Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation
AD-NeRF Juyong Zhang arxiv.org/abs/2103.11078 2021-03-20 4 107 25 132 136 AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis
Depth-supervised NeRF Deva Ramanan arxiv.org/abs/2107.02791 Faster Training 2021-07-06 10 107 18 125 135 Depth-supervised NeRF: Fewer Views and Faster Training for Free
Recursive-NeRF Shi-Min Hu arxiv.org/abs/2105.09103 2021-05-19 0 116 18 134 134 Recursive-NeRF: An Efficient and Dynamically Growing NeRF
Stylizing 3D Scene via Implicit Representation and HyperNetwork Wei-Chen Chiu arxiv.org/abs/2105.13016 2021-05-27 1 97 26 123 124 Stylizing 3D Scene via Implicit Representation and HyperNetwork
Non-Rigid Neural Radiance Fields Christian Theobalt arxiv.org/abs/2012.12247 Deformable 2020-12-22 37 69 13 82 119 Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
Portrait Neural Radiance Fields from a Single Image Jia-Bin Huang arxiv.org/abs/2012.05903 Generalization 2020-12-10 22 76 14 90 112 Portrait Neural Radiance Fields from a Single Image
GeoNeRF François Fleuret arxiv.org/abs/2111.13539 2021-11-26 0 84 19 103 103 GeoNeRF: Generalizing NeRF with Geometry Priors
Dynamic View Synthesis from Dynamic Monocular Video Jia-Bin Huang arxiv.org/abs/2105.06468 Video 2021-05-13 14 76 12 88 102 Dynamic View Synthesis from Dynamic Monocular Video
MINE Gim Hee Lee arxiv.org/abs/2103.14910 Generalization 2021-03-27 4 86 12 98 102 MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthesis
INeRF Tsung-Yi Lin arxiv.org/abs/2012.05877 Pose Estimation 2020-12-10 26 64 12 76 102 INeRF: Inverting Neural Radiance Fields for Pose Estimation
Neural Rays for Occlusion-aware Image-based Rendering Wenping Wang arxiv.org/abs/2107.13421 Generalization 2021-07-28 2 81 16 97 99 Neural Rays for Occlusion-aware Image-based Rendering
A-NeRF Helge Rhodin arxiv.org/abs/2102.06199 Pose Estimation 2021-02-11 1 78 14 92 93 A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
NeRFactor Jonathan T. Barron arxiv.org/abs/2106.01970 Lighting 2021-06-03 11 66 14 80 91 NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination
Learning Compositional Radiance Fields of Dynamic Human Heads Michael Zollhöfer arxiv.org/abs/2012.09955 Compositionality 2020-12-17 15 63 13 76 91 Learning Compositional Radiance Fields of Dynamic Human Heads
DIVeR David Forsyth arxiv.org/abs/2111.10427 2021-11-19 0 68 13 81 81 DIVeR: Real-time and Accurate Neural Radiance Fields with Deterministic Integration for Volume Rendering
HDR-NeRF Qing Wang arxiv.org/abs/2111.14451 2021-11-29 0 62 10 72 72 HDR-NeRF: High Dynamic Range Neural Radiance Fields
Editing Conditional Radiance Fields Bryan Russell arxiv.org/abs/2105.06466 Editing 2021-05-13 5 52 15 67 72 Editing Conditional Radiance Fields
FLAME-in-NeRF Dimitris Samaras arxiv.org/abs/2108.04913 2021-08-10 1 56 13 69 70 FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
NeRF in detail Andrew Zisserman arxiv.org/abs/2106.05264 2021-06-09 4 55 11 66 70 NeRF in detail: Learning to sample for view synthesis
GNeRF Jingyi Yu arxiv.org/abs/2103.15606 Pose Estimation 2021-03-29 10 51 9 60 70 GNeRF: GAN-based Neural Radiance Field without Posed Camera
DeRF Andrea Tagliasacchi arxiv.org/abs/2011.12490 Faster Inference 2020-11-25 26 35 9 44 70 DeRF: Decomposed Radiance Fields
Differentiable Surface Rendering via Non-Differentiable Sampling Zhoutong Zhang arxiv.org/abs/2108.04886 2021-08-10 1 58 9 67 68 Differentiable Surface Rendering via Non-Differentiable Sampling
Stereo Radiance Fields (SRF) Gerard Pons-Moll arxiv.org/abs/2104.06935 Generalization 2021-04-14 11 46 9 55 66 Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes
Mip-NeRF Pratul P. Srinivasan arxiv.org/abs/2103.13415 Multi-scale 2021-03-24 20 35 5 40 60 Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
Dex-NeRF Ken Goldberg arxiv.org/abs/2110.14217 2021-10-27 0 49 10 59 59 Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
NeuralMVS Sven Behnke arxiv.org/abs/2108.03880 2021-08-09 2 46 10 56 58 NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis
VaxNeRF Shixiang Shane Gu arxiv.org/abs/2111.13112 2021-11-25 0 51 5 56 56 VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field
FiG-NeRF Matthew Brown arxiv.org/abs/2104.08418 Object Category Modeling 2021-04-17 5 41 5 46 51 FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling
Deblur-NeRF Pedro V. Sander arxiv.org/abs/2111.14292 2021-11-29 0 47 3 50 50 Deblur-NeRF: Neural Radiance Fields from Blurry Images
MVSNeRF Hao Su arxiv.org/abs/2103.15595 Generalization 2021-03-29 18 25 4 29 47 MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
Neural-PIL Hendrik P. A. Lensch arxiv.org/abs/2110.14373 2021-10-27 1 32 6 38 39 Neural-PIL: Neural Pre-Integrated Lighting for Reflectance Decomposition
Object-Centric Neural Scene Rendering Thomas Funkhouser arxiv.org/abs/2012.08503 Compositionality 2020-12-15 14 24 1 25 39 Object-Centric Neural Scene Rendering
Self-Calibrating Neural Radiance Fields Jaesik Park arxiv.org/abs/2108.13826 Pose Estimation 2021-08-31 7 24 6 30 37 Self-Calibrating Neural Radiance Fields
3D Neural Scene Representations for Visuomotor Control Antonio Torralba arxiv.org/abs/2107.04004 2021-07-08 2 26 3 29 31 3D Neural Scene Representations for Visuomotor Control
Neural Trajectory Fields for Dynamic Novel View Synthesis Orazio Gallo arxiv.org/abs/2105.05994 2021-05-12 1 21 6 27 28 Neural Trajectory Fields for Dynamic Novel View Synthesis
UNISURF Andreas Geiger arxiv.org/abs/2104.10078 Model Reconstruction 2021-04-20 22 0 0 0 22 UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction
Baking Neural Radiance Fields for Real-Time View Synthesis Paul Debevec arxiv.org/abs/2103.14645 2021-03-26 22 0 0 0 22 Baking Neural Radiance Fields for Real-Time View Synthesis
Nerfies Ricardo Martin-Brualla arxiv.org/abs/2011.12948 2020-11-25 16 0 0 0 16 Nerfies: Deformable Neural Radiance Fields
DONeRF Markus Steinberger arxiv.org/abs/2103.03231 Faster Inference 2021-03-04 13 0 0 0 13 DONeRF: Towards Real-Time Rendering of Compact Neural Radiance Fields using Depth Oracle Networks
NeuS Wenping Wang arxiv.org/abs/2106.10689 Model Reconstruction 2021-06-20 10 0 0 0 10 NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
In-Place Scene Labelling and Understanding with Implicit Scene Representation Andrew J. Davison arxiv.org/abs/2103.15875 Scene Labelling and Understanding 2021-03-29 10 0 0 0 10 In-Place Scene Labelling and Understanding with Implicit Scene Representation
Editable Free-viewpoint Video Using a Layered Neural Representation Jingyi Yu arxiv.org/abs/2104.14786 Editing 2021-04-30 9 0 0 0 9 Editable Free-viewpoint Video Using a Layered Neural Representation
HyperNeRF Steven M. Seitz arxiv.org/abs/2106.13228 2021-06-24 8 0 0 0 8 HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
Neural Volume Rendering Lin Yen-Chen arxiv.org/abs/2101.05204 2020-12-17 6 0 0 0 6 Neural Volume Rendering: NeRF And Beyond
StyleNeRF Christian Theobalt arxiv.org/abs/2110.08985 Generalization 2021-10-18 4 0 0 0 4 StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
NerfingMVS Jie Zhou arxiv.org/abs/2109.01129 Depth Estimation 2021-09-02 3 0 0 0 3 NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo
Vision-Only Robot Navigation in a Neural Radiance World Mac Schwager arxiv.org/abs/2110.00168 2021-10-01 2 0 0 0 2 Vision-Only Robot Navigation in a Neural Radiance World
Animatable Neural Radiance Fields from Monocular RGB Videos Huchuan Lu arxiv.org/abs/2106.13629 Deformable 2021-06-25 2 0 0 0 2 Animatable Neural Radiance Fields from Monocular RGB Videos
Non-line-of-Sight Imaging via Neural Transient Fields Jingyi Yu arxiv.org/abs/2101.00373 2021-01-02 2 0 0 0 2 Non-line-of-Sight Imaging via Neural Transient Fields
Neural Human Performer Henry Fuchs arxiv.org/abs/2109.07448 2021-09-15 1 0 0 0 1 Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
UltraSR Humphrey Shi arxiv.org/abs/2103.12716 2021-03-23 1 0 0 0 1 UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution
Template NeRF Qingfu Zhang arxiv.org/abs/2111.04237 2021-11-08 0 0 0 0 0 Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
LENS Arnaud de La Fortelle arxiv.org/abs/2110.06558 2021-10-13 0 0 0 0 0 LENS: Localization enhanced by NeRF synthesis
Stochastic Neural Radiance Fields Francesc Moreno-Noguer arxiv.org/abs/2109.02123 2021-09-05 0 0 0 0 0 Stochastic Neural Radiance Fields: Quantifying Uncertainty in Implicit 3D Representations
iButter Jingyi Yu arxiv.org/abs/2108.05577 2021-08-12 0 0 0 0 0 iButter: Neural Interactive Bullet Time Generator for Human Free-viewpoint Rendering
Vision-based Neural Scene Representations for Spacecraft Dario Izzo arxiv.org/abs/2105.06405 2021-05-11 0 0 0 0 0 Vision-based Neural Scene Representations for Spacecraft
Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry Dario Izzo arxiv.org/abs/2104.09877 2021-04-20 0 0 0 0 0 Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry

ランキング下位の中での注目論文

ランキングでは下位になりましたがNerfiesは話題になっていたと思います。

最後に

手動での追加なしに自動で漏れなく論文を収集するにはどうしたらいいかなとか、
被引用数やいいね数、リツート数の時系列変化とかも追えるともっと面白いかなとか、
いろいろと妄想は膨らみますが、いったんの目的は果たせたかなと思います。

ABEJAには技術・事業双方に知見を持つメンバーがたくさんいます。
少しでもご興味のある方、採用募集しておりますのでぜひお声がけください!
【募集職種一覧はこちら!】

31
11
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
31
11