CH02. Single View Metrology (1)

Introduction

지난 강에서 3D world를 digital image로 transform하는 camera matrix에 대해서 알아보았다.

그렇다면, 역으로 3D world의 구조를 하나의 이미지만을 가지고 추정할 수 있을까?

---

Transformations in 2D

Isometric transformation

거리를 보존하는 transformation이다.

가장 basic한 형태로, rotation $R$ 과 translation $t$ 로 표현된다.

3의 자유도를 가지며, 수학적으로 정의하면,

$$\begin{bmatrix}x^\prime \\ y^\prime \\ 1\end{bmatrix}=\begin{bmatrix}R & t \\ 0 & 1\end{bmatrix}\begin{bmatrix}x \\ y \\ 1\end{bmatrix}$$

 

Similarity transformation

모양(shape)을 보존하는 transformation이다.

직관적으로 보면, isometric transformation에 scaling을 추가한 것이다.

따라서 isometric transformation은 $s=1$인 similarity transformation의 특별한 경우라고 볼 수 있다.

모양을 보존하기 때문에, 비율이나 각도 등은 보존이 된다.

4의 자유도를 가지며, 수학적 정의는,

$$\begin{bmatrix}x^\prime \\ y^\prime \\ 1\end{bmatrix}=\begin{bmatrix}SR & t \\ 0 & 1\end{bmatrix}\begin{bmatrix}x \\ y \\ 1\end{bmatrix},\quad S=\begin{bmatrix}s & 0 \\ 0 & s\end{bmatrix}$$

 

Affine transformation

점(points)과 직선(straight lines) 그리고 평행성(parallelism)을 보존하는 transformation이다.

벡터 $v$에 대해서, affine transformation $T$는

$$T(v)=Av+t$$

와 같이 정의된다. ($A$는 $\mathbb{R}^n$의 linear transformation임)

Homogeneous coordinate으로는, affine transformation을 다음과 같이 정의할 수 있다.

$$\begin{bmatrix}x^\prime \\ y^\prime \\ 1\end{bmatrix}=\begin{bmatrix}A & t \\ 0 & 1\end{bmatrix}\begin{bmatrix}x \\ y \\ 1\end{bmatrix}$$

식을 보면 알 수 있듯이, 모든 similarity transformation은 affine transformation의 특별한 case이다.

이는 6의 자유도를 갖는다.

$$A=UDV^T=UV^TVDV^T=(UV^T)(V)(D)(V^T)$$

 

Projective transformation

직선을 직선으로 mapping하기는 하지만, 평행성(parallelism)을 보존하지는 않는다.

Homogeneous coordinate에서 projective transformation은 다음과 같다.

$$\begin{bmatrix}x^\prime \\ y^\prime \\ 1\end{bmatrix}=\begin{bmatrix}A & t \\ v & b\end{bmatrix}\begin{bmatrix}x \\ y \\ 1\end{bmatrix}$$

식을 보면 알 수 있듯이, affine transformation의 좀 더 general 한 버전이라고 할 수 있다.

Parallelism을 보존하지는 못하지만, line을 line으로 mapping 하기 때문에 points의 collinearity는 보존한다.

따라서 4개의 collinear points $P_1,P_2,P_3,P_4$의 cross ratio 는 projective transformation 하에서 invariant하다.

$$\text{cross ratio}=\frac{\|P_3-P_1\|\|P_4-P_2\|}{\|P_3-P_2\|\|P_4-P_1\|}$$

 

---

Points and Lines at Infinity

직선(line)은 이미지의 구조를 파악하는 데 굉장히 중요한 요소이므로, 2D, 3D에서의 정의를 모두 아는 것은 필수적이다.

2D line $l$ 은 homogeneous vector로 다음과 같이 정의된다.

$$\ell=\begin{bmatrix}a&b&c\end{bmatrix}^T$$

이 때, $-\frac{a}{b}$ 는 기울기, $-\frac{c}{b}$ 는 y-절편을 나타낸다.

조금 더 formal하게 써보면,

$$\forall p=\begin{bmatrix}x\\y\end{bmatrix}\in\ell,\quad\begin{bmatrix}a&b&c\end{bmatrix}\begin{bmatrix}x\\y\\1\end{bmatrix}=0$$

처럼 표현이 가능하다.  

 

💡 일반적으로, 두 직선 $\ell,\ell^\prime$은 점 $x$ 에서 만나고, 이 점은 $\ell$과 $\ell^\prime$의 cross product로 정의된다.

증명)

두 교차하는 직선 $\ell,\ell^\prime$이 주어졌을 때, 교점 $x$는 반드시 두 직선 $\ell,\ell^\prime$ 위에 있어야 한다.

따라서, $x^T\ell=0$ 과 $x^T\ell^\prime=0$ 을 둘 다 만족한다.

$x=\ell\times\ell^\prime$ 이라고 잡으면, cross product의 정의에 따라, vector $x$는 두 벡터 $\ell,\ell^\prime$과 직교하고,

직교의 정의에 따라, $x^T\ell=0$ 과 $x^T\ell^\prime=0$ 이 된다.

그러므로, $x$의 정의가 constraint을 만족한다.  

 

그렇다면 평행한 직선은 어떨까?

교점이 없다라고 생각하겠지만, 두 직선은 무한대에서 만난다고 할 수 있다.  

 

Homogeneous coordinates에서 무한대에 있는 점은 $\begin{bmatrix}x & y & 0\end{bmatrix}^T$로 표현할 수 있다.

앞서 homogeneous coordinate으로부터 euclidean coordinate을 얻기 위해선 마지막 좌표값으로 나머지를 다 나누면 된다고 했었다.

따라서 0으로 나누게 되면 무한대에 있는 point가 나오게 된다.  

 

두 평행한 직선 $\ell,\ell^\prime$ 은 기울기가 같으므로 $\frac{a}{b}=\frac{a^\prime}{b^\prime}$ 이다.

그리고 homogeneous coordinate을 이용해 교점을 찾으면,

$$\ell\times\ell^\prime\propto\begin{bmatrix}b\\-a\\0\end{bmatrix}=x_\infty$$

가 된다. ($\ell,\ell^\prime$ cross product하면 유도 가능)

따라서, 두 평행한 직선은 무한대에서 만난다는 것을 확인할 수 있으며,

이 교점을 ideal point 라고 부른다.

또 하나 ideal point의 흥미로운 성질은, $-\frac{a}{b}$ 의 기울기를 가지는 모든 평행한 직선은 ideal point에서 모두 만난다는 것이다.

$$\ell^Tx_\infty=\begin{bmatrix}a & b & c\end{bmatrix}\begin{bmatrix}b\\-a\\0\end{bmatrix}=0$$   

 

이제 points of infinity 에서 lines at infinity로 사고를 확장해보자.

두 개 혹은 그 이상의 평행한 직선의 쌍들이 있다고 해보자.

각 쌍들은 교점 $\{x_{\infty,1},...,x_{\infty,n}\}$에서 각각 만날 것이다.

이 무한대의 점을 모두 지나는 직선 $\ell_\infty$는 반드시 $\forall i,\,\,\ell^T_\infty x_{\infty,i}=0$ 을 만족해야 한다.

이 말인 즉슨, $\ell_\infty=\begin{bmatrix}0 & 0 & c\end{bmatrix}^T$을 만족함을 의미한다.

여기서 $c$는 임의의 값이므로 이를 그냥 $\ell_\infty=\begin{bmatrix}0 & 0 & 1\end{bmatrix}^T$이라고 정의할 수 있다.

그렇다면, 무한대의 점 $p_\infty$에 generic projective transformation $H$를 적용하면 어떻게 될까?

$$p^\prime=Hp_\infty=\begin{bmatrix}A & t \\ v & b\end{bmatrix}\begin{bmatrix}1 \\ 1 \\ 0\end{bmatrix}=\begin{bmatrix}p^\prime_x \\ p^\prime_y \\ p^\prime_z\end{bmatrix}$$

잘 보면 $p^\prime$의 마지막 원소가 더 이상 0이 아님을 알 수 있다.

즉, projective transformation은 points at infinity를 무한대가 아닌 점으로 mapping한다는 뜻이다.

(projective transformation의 성질을 생각해보면, parallelism을 보존하지 못한다고 했으므로)

하지만 affine transformation의 경우는 무한대의 점에서 무한대의 점으로 그대로 mapping함을 유의하자.

$$p^\prime=Hp_\infty=\begin{bmatrix}A & t \\ 0 & 1\end{bmatrix}\begin{bmatrix}1 \\ 1 \\ 0\end{bmatrix}=\begin{bmatrix}p^\prime_x \\ p^\prime_y \\ 0\end{bmatrix}$$

그러면 projective transformation $H$를 line $\ell$ 에 적용해 새로운 line $\ell^\prime$을 얻어보자.

직선 $\ell$을 지나는 모든 점 $x$는 $x^T\ell=0$ 을 만족한다.

Transformed space에서도 projective transformation은 직선을 직선으로 mapping한다고 했으므로,

$x^{\prime T} \ell^\prime=0$ 을 만족해야한다.

Identity property를 이용해 식을 한번 변형해보자.

$$x^TI\ell=x^TH^TH^{-T}\ell=0$$

직선 $\ell$ 에 projective transformation을 적용했으니 그 위의 모든 점들도 마찬가지로 transform된다.

따라서 $x^\prime=Hx$ 임을 알 수 있다.

$$x^TI\ell=x^TH^TH^{-T}\ell=0=x^{\prime T} \ell^\prime$$

이므로

$$x^TH^TH^{-T}\ell=x^{\prime T} \ell^\prime$$

이고, $x^TH^T=(Hx)^T$이므로

$$x^{\prime T}H^{-T}\ell=x^{\prime T} \ell^\prime$$

즉 $\ell^\prime=H^{-T}\ell$ 를 유도해낼 수 있다.

Points at infinity와 비슷하게 line at infinity에 projective transformation을 적용하면 무한대가 아닌 직선으로 mapping될 수가 있다.

(마찬가지로 affine transformation은 lines at infinity를 lines at infinity로 mapping함)