NERF

 

NeRF(Neural radiance Fields) 

NeRF(신경 방사 필드), SDF(부호 있는 거리 함수), 신경 이미지 및 신경 볼륨 인 네 가지 신경 그래픽 프리미티브 구현을 찾을 수 있습니다 . 각각의 경우에 우리는 tiny-cuda-nn 프레임워크 를 사용하여 다중 해상도 해시 입력 인코딩으로 MLP를 훈련하고 렌더링합니다 . 

nVidia에서 opensource로 제공하고 있습니다. 

https://github.com/NVlabs/instant-ngp 

간단하게 말해면 NeRF(Neural radiance Fields)는 2D 이미지를 3D로 변환해주는 모델입니다.  

https://www.matthewtancik.com/nerf   여기에 영상과 이미지 3Dview로 볼 수 있습니다. 

영상 이미지와 이를 Nerf기술을 이용한 오른쪽의 Depth 데이터를 구해냅니다. 

Generate 3D mesh 

https://blogs.nvidia.co.kr/2022/03/30/instant-nerf-research-3d-ai/ 

유니티에서 확인하는 가능합니다. 대략 nerf에서 생성된 오브젝트를 익스포트해서 유니티에서 본다입니다. 

https://github.com/kwea123/nerf_Unity 

ply, vol 파일들을 읽어들여서 볼수 있습니다. 다각형 정보와 point cloud 정보등으로 구성되어있습니다.  

한계점 

입력으로 정확한 camera pose를 요구 

Pose나 이 정보를 알수없는경우  Nueral rendering결과가 좋지 않음 

Naïve positional encoding은 registration과 representation을 동시에 수행할 때 정확도가 떨어짐. 

  

 

BARF(Bundle-Adjusting Neural Radiance Fields) 

https://chenhsuanlin.bitbucket.io/bundle-adjusting-NeRF/ 

Imperfect camera pose가 입력으로 들어와도 registration과 representation을 동시에 수행할수 있게 해줌 

Full positional encoding 대신 coarse-tofine approach적용 

고전적인 image alignment에서 출발 

간단하게 말해서 카메라를 물체에 정확하게 바라 보도록 주의하지 않아도 정렬시켜서 하기 때문에 잘된다. 입니다. 

Positional Encoding을 한 후 Input으로 넣어주면 아래 그림처럼 더 좋은 결과를 얻을수 있습니다. 

 

 

참고 
 
NERF 

https://www.matthewtancik.com/nerf 

 

https://woochan-autobiography.tistory.com/933#3.1. Ray 

https://velog.io/@hyungraelee/NeRF-Representing-Scenes-as-Neural-Radiance-Fields-for-View-Synthesis-논문-학습-정리 

https://www.youtube.com/watch?v=zkeh7Tt9tYQ 

 

BARF 

https://chenhsuanlin.bitbucket.io/bundle-adjusting-NeRF/ 

https://www.youtube.com/watch?v=iqEfKA7seNk