3D\Multiview Geometry

CH04. Stereo Systems (2)

Perspective structure from motion 앞서서는 간단한 affine한 경우를 알아봤고, 이제는 좀 더 일반적인 projective cameras 에 대해 알아본다. Projective cameras $M_i$는 11의 자유도를 가지고, up to scale로 다음과 같이 표현 가능하다. $$ M_i=\begin{bmatrix}a_{11}&a_{12}&a_{13}&b_1\\a_{21}&a_{22}&a_{23}&b_2\\a_{31}&a_{32}&a_{33}&1\end{bmatrix} $$ Affine 의 경우에는 affine transformation을 structure 행렬, motion에 해줬던 것처럼, 이 경우에는 projective transformation을 struture, ..

CH04. Stereo Systems (1)

지난 번까지는 여러 추가적인 viewpoints 들이 얼마나 해당 scene에 대한 정보를 많이 줄 수 있는지에 대해서 알아봤었다. Epipolar geometry는 3D scene에 대한 정보 없이 한 image plane의 점들을 다른 image plane으로 대응했었다면, 이번 강에서는 여러 2D images를 이용해서 3D scene을 recover 하는 법에 대해 알아본다. Triangulation Triangulation은 multiview geometry에서 가장 fundamental한 문제 중 하나다. Triangulation은 3D point가 projection된 두 개 이상의 images를 이용해서 해당 3D point의 위치를 결정하는 작업이다. 만약 두 개의 view를 이용한 tr..

CH03. Epipolar Geometry (2)

The Fundamental Matrix 앞선 강의에서 봤던 Essential matrix 같은 경우는 카메라가 canonical 한 경우($K=I)$에만 해당되므로 canonical한 카메라가 아닌 general한 경우에 대해서도 생각해볼 필요가 있다. 먼저 projection matrix는 다음과 같았다. $$ M=K\begin{bmatrix}I&0\end{bmatrix}\quad\quad M^\prime=K^\prime\begin{bmatrix}R_{wc^\prime}^{T}&-R_{wc^\prime}^{T}T_{wc^\prime}\end{bmatrix} $$ 만약 카메라가 canonical하다면, 각각의 image plane으로의 $P$의 projection은 $p_c=K^{-1}p$ 와 $p_c..

CH03. Epipolar Geometry (1)

Introduction 앞선 강까지는 single view metrology나 typical camera calibration을 통해 image로부터 3D world의 property를 유도해내는 과정을 보였었다. 하지만, 일반적으로 하나의 이미지를 이용해서는 3D world의 전체적인 구조를 복구해내기 어렵다. 바로 3D에서 2D로의 mapping의 intrinsic ambiguity 때문이다. (정보가 손실됨) 위의 그림을 보면, 남자가 피사의 사탑을 받치고 있는 것처럼 보인다. 하지만 실제로 남자가 피사의 사탑을 받치고 있는 것이 아니라, 다른 depth를 image plane에 투사시켰기 때문에 생기는 현상이다. 만약 이 scene을 다른 각도에서 볼 수 있다면, 이렇게 착시현상이 아니라 제대로 ..

CH02. Single View Metrology (2)

Vanishing Points and Lines 지금까지는 2D 에서 무한대에서의 직선과 점을 다뤘다면 이제 이를 3D 에도 적용시켜본다. 3D에서는 평면의 개념을 도입해야한다. 평면을 vector로 $\begin{bmatrix}a & b & c & d\end{bmatrix}^T$로 표현 가능하고, 여기서 $(a,b,c)$는 법선벡터(normal vector)를 의미하며 $d$는 법선벡터 방향으로 원점에서 평면까지의 거리이다. Formal하게 평면을 정의해보면 다음과 같다. $$ x^T\begin{bmatrix}a\\b\\c\\d\end{bmatrix}=ax_1+bx_2+cx_3+d=0 $$ 3D 에서 직선이란 두 평면의 intersection으로써 정의된다. 자유도가 4이기 때문에(? 모르겠다), 3D..

CH02. Single View Metrology (1)

Introduction 지난 강에서 3D world를 digital image로 transform하는 camera matrix에 대해서 알아보았다. 그렇다면, 역으로 3D world의 구조를 하나의 이미지만을 가지고 추정할 수 있을까? Transformations in 2D Isometric transformation 거리를 보존하는 transformation이다. 가장 basic한 형태로, rotation $R$ 과 translation $t$ 로 표현된다. 3의 자유도를 가지며, 수학적으로 정의하면, $$ \begin{bmatrix}x^\prime \\ y^\prime \\ 1\end{bmatrix}=\begin{bmatrix}R & t \\ 0 & 1\end{bmatrix}\begin{bmatrix..