[3D Object Detection] 3D Object Detection 논문 흐름 및 리뷰

안녕하세요 :) 최근 논문 리뷰를 소홀히 하다가

흥미로운 분야를 연구하는 중 정리도 할 겸 분야를 소개해드리고자 합니다. 

 

기존 Object Detection 분야가 2차원에서 bounding box (Anchor)로 물체를 감지하는 것과 달리

3D Object Detection은 물체의 위치, 크기, 방향 등을 비교적 정확히 알 수 있어

자율주행 자동차, 로봇 청소기, AR, VR 등 다양한 분야에 쓰이는 중요한 컴퓨터 비전 기술입니다.

출처 : VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

 

최근 몇 년간 학회에 accept 되는 Object Detection 논문이 줄어들고, 3D Object Detection 논문이 늘어나면서 많은 Object Detection 연구자들이 3D Object Detection으로 거취를 옮기기도 합니다.

 

대표적으로 3D Object Detection 분야에서 다루는 Dataset은

Kitti Dataset 과 nuScenes Dataset이 자주 쓰이며, Lidar 센서를 이용한 3D Point Cloud Dataset이 주를 이루고,

RGB Image를 Fusion 하여 같이 쓰기도 합니다.

 

 

http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d

KITTI Dataset

https://www.nuscenes.org/

nuScenes Dataset

Deep Learning을 이용한 3D Object Detection 분야를 최신 논문 흐름을 통해 알아보도록 하죠 :)

 

---

논문 분류

어떤 새로운 분야를 찾아볼 때, 보통 그 분야의 최신 논문을 먼저 보고나서,

Related Work 등을 통해 타고 타고 들어가다보면 여러 방법들로 논문, 방법들이 분류가 되곤 합니다.

 

2D Object Detection 방법과 동일하게 3D Object Detection 방법도 region proposal 방법을 따로 두느냐에 따라

1-stage detector와 2-stage detector로 나뉩니다.

 

또한 Dataset 사용 방안에 따라 Multi-modality 와 Lidar-Only 방법으로 나뉘는데, 

Multi-modality는 Lidar Sensor를 통해 얻어낸 3D point Cloud 데이터와 2D RGB Image를 같이 사용하는 방법을 일컬으며,

Lidar-Only는 Lidar Dataset (3D Point Cloud) 만을 사용하여 3D Object Detection을 수행하는 방법을 일컫습니다.

 

Two-Stage Detector			Single-Stage Detector
· LIDAR-Only			· LIDAR-Only
Point-RCNN	19 CVPR		VoxelNet	18 CVPR	Apple 논문
STD	19 ICCV		ContFuse	18 ECCV	UBER-ATG 논문
Fast Point R-CNN	19 ICCV		SECOND	18 SENSORS
Part-A^2 Net	20 TPAMI		PointPillar	19 CVPR
PV-RCNN	20 CVPR		TANet	20 AAAI
			point-GNN	20 CVPR
· LIDAR + RGB (Multi-modality)			3DSSD	20 CVPR
MV3D	17 CVPR		Associate-3Ddet	20 CVPR
AVOD	17 CoRR		SA-SSD	20 CVPR
F-PointNets	18 CVPR		SESS	20 CVPR
F-ConvNet	19 IROS		CIA-SSD	21 AAAI
PIXOR	18 CVPR	UBER-ATG 논문	SE-SSD	21 CVPR
HDNET	18 CoRL	UBER-ATG 논문
MMF	19 CVPR	UBER-ATG 논문
3D-CVF	20 ECCV	한양대학교 논문

 

초기에는 LIDAR (3D Point Cloud) 데이터와 RGB (2D camera image) 데이터를 동시에 사용하였으나,

방법이 발전할 수록 충분한 위치정보를 지닌 LIDAR 데이터 만으로 충분한 성능을 내면서

RGB Image가 성능에 기여하지 못하는, 있으나 마나 한 데이터가 되버리곤 했습니다.

 

이에 따라 역으로 Image의 shape, color, texture 같은 dense한 정보를 활용하여 Lidar Data에 효율적으로 Fusion 시켜 성능을 향상시키는 논문이 나오기도 합니다. 

(ex) 3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection)

 

 

 

 

 

출처 :

    VoxelNet 논문 : https://arxiv.org/abs/1711.06396

    SECOND 논문 : https://www.mdpi.com/1424-8220/18/10/3337

    3D-CVF 논문 : https://arxiv.org/abs/2004.12636