JaeTech

우분투 에어팟 연결 에러 해결

재바기 — Sun, 11 Aug 2024 18:54:31 +0900

우분투에서 에어팟 연결할 때 말썽인 경우가 많은데 아래와 같이 따라하면 간단하게 해결할 수 있다.

$ sudo vim /etc/bluetooth/main.conf

을 통해 파일수정을 들어가면,

위와 같이 뜰 텐데, vim의 검색기능을 통해 /ControllerMode 로 찾으면,

위 캡쳐화면처럼 ControllerMode 를 설정할 수 있는 라인을 발견할 수 있다.

원래는

# ControllerMode = dual

로 아마 되어있을텐데, 이를 위의 사진과 같이 bredr로 바꿔주면 된다.

:wq를 통해 저장하고나서

$ sudo /etc/init.d/bluetooth restart

로 바뀐 설정으로 재시작을 해주고 나면 에어팟 연결이 정상적으로 될 것이다.

Ubuntu에서 Filezilla3 설치

재바기 — Sun, 11 Aug 2024 15:10:27 +0900

파일질라 공식사이트에서 tar.xz 파일 받고 압축해제하면 bin파일로 실행하는 방식인데, 바이너리 파일이 에러 뜰 때가 많길래 그냥 터미널 커맨드로 앱을 받는 게 더 편하고 안정성이 높은 것 같다.

아래와 같이 설치가능.

$ sudo apt update
$ sudo apt upgrade
$ sudo add-apt-repository ppa:xtradeb/apps
$ sudo apt update
$ sudo apt install filezilla

dlopen(): error loading libfuse.so.2 에러 해결

재바기 — Sun, 11 Aug 2024 15:04:04 +0900

리눅스의 경우 AppImage 형태의 프로그램을 실행하기 위해서는 fuse2 라는 라이브러리가 필요하다.

따라서, 위와 같이

dlopen(): error loading libfuse.so.2

라는 에러가 뜨는 경우에는 fuse2 라이브러리를 설치해주기만 하면 된다.

$ sudo apt install libfuse2

MeshLab 설치 및 에러 해결

재바기 — Thu, 9 May 2024 00:25:17 +0900

SuGaR로 돌려본 결과를 rendering 하려고 여러 툴을 찾아보다가 교수님께서 MeshLab을 추천해주셨다.

Install 방법을 구글링해봤는데 처음 찾았던 게

$ sudo apt update
$ sudo apt install meshlab

이거였고, 정상적으로 MeshLab 설치는 되었다.

하지만 import Mesh 를 해보니 계속 .obj 파일이 열리다말고 프로그램이 꺼졌다.

나의 경우 Ubuntu 22.04를 쓰고 있는데 22.04 에서는 이런 문제가 생길 수 있다고 해서 다른 방법으로 install을 진행해보니 정상적으로 작동이 됐다.

MeshLab 홈페이지에서 Linux AppImage를 눌러 설치를 받고,

$ chmod a+x MeshLab2023.12-linux.AppImage
$ ./MeshLab2023.12-linux.AppImage

와 같이 앱이미지를 실행해주니 .obj 파일이 정상적으로 import 되었다.

누군가는 도움이 되었길 바라며.

두 개의 dataloader에서 에서 tqdm 쓰는 법

재바기 — Sat, 8 Apr 2023 18:56:57 +0900

tqdm을 사용하기 위해선 tqdm의 인자로 들어오는 게 __len__ 메소드를 가져야 한다.

따라서, tqdm안에 아래와 같이

for i, data in tqdm(enumerate(zip(train_dataloader1, train_dataloader2)))

이렇게 쓰면 안되고,

__len__을 가지는 train_dataloader1이나 train_dataloader2 중 하나를 tqdm으로 감싼다.(어차피 둘의 크기는 같을 것이므로)

for i, data in enumerate(zip(tqdm(train_dataloader1), train_dataloader2)):

이렇게 해주면 정상적으로 작동한다.

학습 시 두 개 이상의 데이터셋에서 batch 뽑아내는 법

재바기 — Sat, 8 Apr 2023 18:52:35 +0900

종종 model의 input으로 두 개의 데이터가 들어갈 때가 있다.

따라서, dataloader도 각각 따로 필요할 수가 있고, 그로 인해 enumerate 함수의 인자를 어떻게 전달해야 할 지 헷갈릴 때가 있다.

그럴 때는 다음과 같이 enumerate안에 zip으로 두 dataloader를 묶어서 사용해보자.

    model.train()
    for epoch in range(num_epoch):
        print('EPOCH {}:'.format(epoch + 1))
        training_loss = 0.0
        for i, data in enumerate(zip(train_dataloader1, train_dataloader2)):
            # get the inputs; data is a list of [inputs, labels]
            data1, data2 = data
            input1, labels1 = data1
            input2, labels2 = data2

이렇게 enumerate안에서 두 dataloader를 zip하면 enumerate가 각각의 dataloader에서 batch를 잘 stack해서 전달해준다.

다만, 주의할 점은 이 때 enumerate의 리턴값으로 나오는 출력값이 조금 차이가 있다.

i 와 같이 index의 경우는 그대로 0부터 시작하지만, data는 두 dataloader에서 나오는 data가 합쳐져 있다.

따라서 data를 data1과 data2로 나눠주고, 이를 다시 input과 label로 나눠주면 된다.

Edge detection

재바기 — Fri, 7 Apr 2023 16:09:11 +0900

Edge detection

Edge detection이란 뭘까?

Edge detection은 2D image를 curve의 set으로 변환하는 것이다.

즉, 해당 scene 또는 object의 가장 두드러지고 핵심적인 feature를 추출하는 것이라고 할 수 있다.

그렇다면 왜 edge를 사용하는 걸까?

왜냐하면 edge는 빛과 색깔에 비교적 robust하기 때문이다.

즉, 위와 같이 색깔이 다른 같은 모델의 자동차는 비슷한 edge feature를 가지고 있을 것이다.

따라서 edge는 recognition과 이미지의 patch들을 matching하는 데 유용하게 쓸 수 있다.

그렇다면 edge에 대해서 조금 고민해보자.

Edge는 위의 그림과 같이 단순히 하나의 이유만으로 생기는 것이 아니다.

깊이가 달라서, 색깔이 달라서, 조명이 달라서 등등 여러 원인에 의해 생길 수 있는 것이 바로 edge이다.

앞서 image filtering에서 우리는 image를 function으로 생각할 수 있다고 했었다.

위의 그림과 같이, edge는 steep cliffs(가파른 절벽)처럼 보인다.

이렇듯 intensity의 값이 확 바뀌는 부분을 우리는 edge라고 생각해 볼 수 있다.

Characterizing edges

앞서 말했듯, edge는 image intensity function의 값이 급격하게 바뀌는 부분이라고 할 수 있다.

제일 좌측 그림을 본래 image라고 한다면, intensity는 중간 그림처럼 해당 부분에서(horizontal 방향을 따라) 아래로 급격히 떨어졌다가 다시 오르는 형태를 띄게 된다.

즉, 이 intensity function을 미분해보면, 우측 그림처럼 미분의 값이 가장 extreme한 곳(극값)이 edge라고 할 수 있을 것이다.

Image derivatives

하지만 여기서 하나 문제점이 발생하는데,

image intensity function의 정의역은 discrete하며, 어떤 특정한 수학적인 함수로 정의할 수 없기 때문에, 미분을 어떻게 해주어야 할지 고민할 수 밖에 없다.

그렇다면, 이 digital image $F[x,y]$를 어떻게 differentiate할까?

물론, 이 digital image를다시 continuous한 image 로 바꿔서 미분을 해볼 수도 있겠으나,

discrete derivative를 적용하는 방법이 더 간단하고 직관적이다. (finite difference)

$$ \dfrac{\partial f}{\partial x}[x,y]\approx F[x+1,y]-F[x,y] $$

즉 위의 식처럼 $x$방향으로 1만큼 옆에 있는 픽셀과의 pixel intensity차이를 이용하는 것이다.

그럼 이렇게 구현한 linear filter은 아래와 같이 이루어진다. (비어있는 칸 0)

그런데 이 filter를 적용하면 $F[x-1,y]-F[x,y]$ 가 되지 않느냐고 헷갈릴 수도 있지만,

convolution 연산을 적용하는 것이기 때문에, $F[x+1,y]-F[x,y]$ 이 된다.

마찬가지로 $y$축 방향은

$$ \dfrac{\partial f}{\partial x}[x,y]\approx F[x,y+1]-F[x,y] $$

가 된다.

Image gradient

$x,y$축으로의 미세한 이산적인 차이를 이용해 derivative를 구했으므로, 이제 image의 gradient를 정의해볼 수 있다.

이미지의 gradient는 다음과 같이 나타난다.

$$ \nabla f=\bigg[\dfrac{\partial f}{\partial x},\dfrac{\partial f}{\partial y}\bigg] $$

Gradient는 해당 픽셀 위치에서, 가장 급격하게 intensity가 증가하는 방향을 가리키게 된다.

따라서, 급격하게 변할수록 이렇게 intensity가 급격하게 변할수록 edge일 가능성이 크다고 말할 수 있으며,

edge strength는 gradient의 magnitude와 같게 된다.

$$ \|\nabla f\|=\sqrt{\bigg(\dfrac{\partial f}{\partial x}\bigg)^2+\bigg(\dfrac{\partial f}{\partial y}\bigg)^2} $$

또한, gradient의 direction은 다음과 같이 얻을 수 있다.

$$ \theta=\tan^{-1}\bigg(\dfrac{\partial f}{\partial y}\bigg/\dfrac{\partial f}{\partial x}\bigg)=\tan^{-1}\bigg(\dfrac{\partial x}{\partial y}\bigg) $$

Effects of noise

하지만 일반적으로 아래와 같은 그림처럼 noise 없이 깔끔하게 intensity가 변화하지는 않는다.

이미지란 본래 noise를 가지고 있기 마련이며, 그 결과는 보통 아래처럼 나타난다.

이처럼 noise가 있을 경우에는 미분을 해서 극값을 이용해 edge를 찾는 게 매우 challenging하다.

이런 noise문제를 어떻게 해결하면 좋을까?

Solution: smooth first

앞서 우리는 gaussian filter에 대해서 배웠다.

Gaussian filter는 low-frequency는 통과시키며, high-frequency는 무시해버리는 low-pass filter라고 했었다.

따라서, noise가 있는 intensity function에 gaussian filter를 적용하면 세 번째 줄의 그래프처럼 상당히 smooth한 function을 얻을 수 있다.

그 후, 우리가 목표했던 방식으로 edge를 찾아나가면 된다.

즉, $\dfrac{d}{dx}(f*h)$ 의 극값을 찾는다.

Associative property of convolution

Discrete한 pixel에 대한 differentiation을 convolution 연산을 통해 해주었는데, convolution 연산은 associative 하다.

따라서,

$$ \dfrac{d}{dx}(fh)=f\dfrac{d}{dx}h $$

이 성립한다.

어차피 같은 결과를 얻는다면, 연산량을 줄이는 것이 바람직하므로 오른쪽 $f*\dfrac{d}{dx}h$ 처럼 gaussian kernel을 먼저 미분해주고, 그 결과와 이미지를 convolution한다.

The 1D Gaussian and its derivatives

독립변수가 하나인 gaussian distribution의 경우 미분의 결과는 아래와 같다.

2D edge detection filters

하지만 우리는 독립변수가 $x,y$ 두 개인 경우를 고려하므로, 각 변수(축)에 대해 각각 따로 미분을 고려해주어야 한다

따라서, $x, y$축에 대한 2D gaussian distribution의 미분 결과는 아래와 같다.

The Sobel operator

위의 그림에서 $x,y$ direction에서의 미분 결과를 살펴보았는데, 이를 kernel로 나타내면, 다음과 같다.

위 그림처럼, 정확한 gradient magnitude를 알고 싶다면, $\dfrac{1}{8}$ term을 넣어주어야 한다.

(하지만 그냥 gradient를 이용해서 edge를 detect하기 위함이면 없어도 된다.)

또 하나 중요한 것은, 나도 헷갈렸던 건데, $x,y$ 축과 필터의 방향을 잘 맞춰야 한다는 것이다.

위의 필터는 이미지를 아래의 축을 기준으로 생각한 결과이다.

하지만, numpy 행렬이나 이미지와 같이 좌측 상단이 원점인

위와 같은 경우를 생각해보면, x filter는 그대로이지만, y filter의 방향을 바꿔야 한다.

따라서 위와 같은 filter 를 가져야 한다.

(Convolution 연산을 적용할 것이라면 filter를 x, y축으로 반전시켜야 하지만, 실질적으로 이건 후에 180도 반대인 것과 똑같은 동작을 하므로 큰 의미를 가지지 못함. 따라서 상관 없다고 말할 수 있다.)

다음은, sobel operator를 적용한 예이다.

Gaussian filter을 이용해서 noise를 줄여주는 것은 매우 바람직하지만, 그 결과로 edge가 좀 두껍게 detecting되는 문제가 생긴다.

우리는 얇은 edge에 관심이 있으므로 두꺼워진 이 edge를 다시 얇게 하는 작업이 필요하다.

Non-maximum supression

Sobel operator로 얻은 $x,y$축에 대한 값을 arctan를 이용해 각 $\theta$를 구한다.

$\theta$를 이용해서, 해당 gradient의 방향(해당 방향과 반대방향 포함)으로 non maximum suppression을 진행해준다.

여기서 non maximum suppression이란, 해당 pixel이 gradient의 양방향에 있는 pixel보다 커야만 그대로 두고, 아닌 경우 0으로 아예 죽여(?)버리는 기법을 의미한다.

따라서, 해당 gradient 방향으로 가장 큰 값만 남기게 되므로, thin한 edge가 형성될 수 있다.

(그런데 이 non maximum suppression의 구현 과정에서도, 매우 헷갈리는 상황이 발생하는데, 이후 구현 관련 포스팅에서 다뤄보도록 한다.)

하지만, NMS를 보통은 [0, 45, 90, 135]의 네 방향에 대해서만 적용하는데, 따라서 해당 각도들이 아닌 각도들을 [0, 45, 90, 135]의 방향으로 interpolating해주는 작업이 필요하다.

이 경우, $\pm22.5$도만큼의 범위를 정해놓고 interpolating을 해주면 된다.

다음은 NMS를 적용하기 전과 후의 이미지이다.

Thresholding edges

이제 최종적으로 edge를 detecting 하기 위해서, strong한 edge들만을 남겨놓고 싶다.

이 때, 2개의 threshold를 사용하며, 큰 threshold $T$와 작은 threshold $t$ 를 사용한다.

$R > T$ 인 경우 : strong edge
$t < R < T$ 인 경우 : weak edge
$R < t$ 인 경우 : no edge

이렇게 분류된 pixel들은 다음과 같이 처리한다.

Strong edge로 분류된 pixel : 그대로 남겨둔다.
Weak edge로 분류된 pixel : strong edge와 연결되어 있다면(주위 8 pixel중 하나에) strong edge가 된다. (없으면 no edge)
No edge : 그냥 edge 없는 경우.

정리해보면, canny edge detector는 다음과 같은 algorithm으로 구성된다.

Canny edge detector는 여러 parameter로 조정을 할 수 있는데, 그 중 $\sigma$에 대해 다뤄보자면, $\sigma$는 gaussian blurring의 width를 조정한다고 할 수 있다.

large $\sigma$ : “large-scale” edge를 detect함.
small $\sigma$ : fine edge를 detect함.

Image filtering

재바기 — Wed, 5 Apr 2023 15:36:49 +0900

What is Image?

A grid (matrix) of intensity values (보통 0이 black, 255 : white를 의미)
이 map을 intensity(강도) map이라고도 함
이 grid를 pixel이라고 함
이 pixel 하나하나가 intensity value를 가지고 있음

Images as functions

이미지는 discrete한 pixel수를 가지고 있다.

- Pixel value

grayscale/intensity
- [0, 255]
color
- RGB는 [R, G, B] 즉 빨강 초록 파랑의 3 채널이고, 각각 [0, 255] per channel
- HSV [H, S, V]: Hue, saturation, value 로 나타낼 수도 있음

Image는 $R^2$에서 $R$ 또는 $R^M$ 으로의 함수 $f$라고 생각할 수도 있다.

Grayscale 이라면 :
- $f(x,y)$는 각 위치 $(x,y)$의 intensity를 의미하며,
Color 이면 :
- $f(x,y)=[r(x,y), g(x,y),b(x,y)]$ 의 $R^3$ 으로 매핑.

Image transformations

함수와 마찬가지로, 이미지에도 어떠한 operator를 적용할 수 있다.

그 중에서도 특별한 연산이 있는데, 합성곱 즉 convolution에 대해서 다뤄본다. (linear filtering)

Image denoising

그렇다면 images에서 noise가 나타나는 이유는 무엇인가?

sensor noise
Dead pixels
Old photographs
etc.,

그러면 Noise reduction은 어떻게 할 수 있을까?

근처의 pixel은 같은 object일 것이다.
- 따라서 비슷한 색깔을 가질 것이다.
각 픽셀을 주변 픽셀의 평균으로 대체한다.

Mean filtering

하지만 정수를 쓸 것이므로 7이 된다.

Kernel의 사이즈가 5가 되면?

마찬가지로 7이다. (반올림)

Noise reduction using mean filtering

조금 부드러워지긴 했으나, 선명도가 떨어졌다. (sharpness)

Filters

Filtering
- 각 픽셀들이 원래 이미지의 픽셀들의 linear combination이 되는 새로운 이미지를 생성하는 것이다.
Why?
- 좀 더 유용한 information을 얻기 위해
  - edge나 contour같은 특징을 추출
- image를 enhance하기 위해
  - noise를 감소시키기 위해 blur 처리
  - sharpen하기 위해
- CNN의 key 연산자이다.

Linear filtering

가장 simple한 filtering의 종류: linear filtering (cross-correlation, convolution)

각 픽셀을 neighbor들의 linear combination으로 대체한다. (weighted sum)

아래와 같은 틀을 “kernel” 혹은 mask 또는 filter라고 한다.

($10\times0+5\times0+3\times0+4\times0+6\times0.5+1\times0+1\times0+1\times1+8\times0.5=8$)

결국 mean filtering은 linear filtering의 일종이다.

$$ Sf=\sum_{i=-1}^1\sum_{j=-1}^1\dfrac{f(m+i,n+j)}{9} $$

하지만 일반적인 linear filtering의 경우는 weight가 있다.

따라서

$$ Sf=\sum_{i=-1}^1\sum_{j=-1}^1w(i,j)f(m+i,n+j) $$

와 같이 되고, 이 때 $w(i,j)$가 kernel 또는 filter matrix의 각 원소가 된다.

그리고 kernel size가 달라질 수도 있다.

따라서 kernel size도 general하게 고려해주면,

$$ Sf=\sum_{i=-k}^k\sum_{j=-k}^kw(i,j)f(m+i,n+j) $$

가 된다. (kernel size는 $2k+1$)

Convolution and cross-correlation

Cross correlation

$$ S[f]=w\otimes f $$

$$ Sf=\sum_{i=-k}^k\sum_{j=-k}^kw(i,j)f(m+i,n+j) $$

(즉 같은 자리에 대응하도록 곱해주고 더해주면 됨)

Convolution

$$ S[f]=w*f $$

$$ Sf=\sum_{i=-k}^k\sum_{j=-k}^kw(i,j)f(m-i,n-j) $$

(행으로, 열로 커널을 각각 뒤집어서 cross-correlation을 하면 더 쉽다.)

Cross-correlation과 convolution은 linearity를 만족한다.

또 다른 중요한 property로 Shift invariance가 있다.

shift가 일어나도 연산의 효과는 다르지 않음을 의미!!

그리고 shift하고 convolution을 하던지, convolution을 하고 shift를 하던 상관이 없음

Sharpening

Sharpening을 수식으로 나타내면 다음과 같다.

$$ \begin{align*}f_{sharp}&=f+\alpha(f-f_{blur})\\&=(1+\alpha)f-\alpha f_{blur}\\&=(1+\alpha)(wf)-\alpha(vf)\\&=((1+\alpha)w-\alpha v)f\end{align} $$

여기서 $f$는 원래 이미지를 의미하고,

$w,v$는 각각 다음과 같은 filter를 의미한다. (좌측부터 순서대로)

따라서 만약 \alpha=1 일 때, sharpening filter는 아래와 같다.

Gaussian filter

Mean filter와 달리, nearby pixel은 far-away pixel보다 더 correlated 할 것이라는 가정을 내포하는 filter이다.

따라서, nearby pixel에 더 weight를 많이 준다.

위의 그림은 독립변수가 1개, 2개일 경우의 gaussian distribution을 보여준다.

하지만, kernel은 이산적인 값을 가지기 때문에, 위의 continuous한 값을 가질 수 없다.

따라서, 이에 근사한 값을 가지도록 kernel을 구성해야 한다.

그리고 이처럼 kernel을 구성할 때, gaussian distribution의 앞 계수(factor)는 신경쓰지 않고 kernel의 모든 원소의 합이 1이 되도록 normalize만 해주면 된다.

다음은 gaussian filter를 이미지에 적용한 모습이다.

가우시안 필터는 “high-frequency” components를 제거하는 역할을 한다.

즉, low-pass filter 라고도 할 수 있다.

또한, gaussian filter끼리의 convolution의 결과도 gaussian이다.

(즉, $\sigma$의 gaussian kernel을 두 번 적용하는 것은 $\sigma\sqrt2$의 kernel을 한 번 적용하는 것과 결과가 같다.)

Non-linear filters

Thresholding

Thresholding은 필요한 임계값을 임의로 정하여 이미지를 처리하는 것으로, 이미지의 전, 후처리에서 중요한 filter중 하나이다.

$$ g(m,n)=\begin{cases}&255, \quad &f(m,n)>A\\&0&otherwise\end{cases} $$

Rectification

$$ g(m,n)=\max(f(m,n),0) $$

Rectification은 convolutional network의 중요한 component중 하나이다.

(특히 ReLU)

Median filter

Mean은 outlier에 굉장히 민감하게 반응한다.

따라서, mean filtering이 잘 적용이 되지 않는다.

따라서, median(중간값)을 택하여 해당 pixel에 replace해준다.

다음과 같이 speckle noise를 이와 같은 방법으로 처리할 수 있다.

티스토리(tistory) 모바일에서 LaTex 수식 깨짐 해결

재바기 — Sun, 26 Mar 2023 11:42:38 +0900

수학 공부한 내용을 정리하거나, 논문 리뷰할 때 수식이 많이 나와 LaTex을 이용해서 블로그에 정리를 하곤 한다.

그런데 pc버전은 아무 문제가 없는데, 모바일 버전에서는 아래와 같이 내가 쓴 LaTex수식이 변환이 안되고 그대로 나와서 문제를 해결해보고자 했다.

먼저, 여러 블로그를 참고해보니 아래와 같은 솔루션을 제공했다.

먼저, 서식 관리에 들어간다.

서식 쓰기 누르고,

제목은 대충 아무거나 짓고,

<p data-ke-size="size16">
    <script src="https://polyfill.io/v3/polyfill.min.js?features=es6"></script>
    <script src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js"></script>
</p>

를 넣으면 된다.

결과는 다음과 같다.

그리고 완료를 누르게 되면, 아래처럼 서식이 생긴다.

이제 변환을 원하는 페이지마다 들어가서 수정을 누르고,

서식에 들어가서 작성한 서식을 눌러주면,

이렇게 상단에 script가 두 개 생긴다.

그리고 수정을 완료하면 된다.

근데 여기서!! 모바일에서 다 업데이트가 될 수도 있고, 안 될 수도 있는데,

나 같은 경우에는 아래처럼 inline Latex이 적용이 안됐다.

필자의 경우 script에서 한 줄을 더 넣어 아래와 같은 script를 서식에다 만들어주니

<p data-ke-size="size16">
    <script src="https://polyfill.io/v3/polyfill.min.js?features=es6"></script>
    <script> MathJax = { tex: {inlineMath: [['$', '$'], ['\\(', '\\)']]} }; </script>
    <script src="https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js"></script>
</p>

아래처럼 깔끔하게 변환이 되었다..!

어느 블로그에도 이런 방법을 알려주는 곳은 없었는데.. 내 티스토리 셋팅이 이상한 건가 싶기도 했다..

그래도 무사히 해결해서 다행.

CH04. Stereo Systems (2)

재바기 — Sun, 5 Mar 2023 17:19:38 +0900

Perspective structure from motion

앞서서는 간단한 affine한 경우를 알아봤고, 이제는 좀 더 일반적인 projective cameras 에 대해 알아본다.

Projective cameras $M_i$는 11의 자유도를 가지고, up to scale로 다음과 같이 표현 가능하다.

$$ M_i=\begin{bmatrix}a_{11}&a_{12}&a_{13}&b_1\\a_{21}&a_{22}&a_{23}&b_2\\a_{31}&a_{32}&a_{33}&1\end{bmatrix} $$

Affine 의 경우에는 affine transformation을 structure 행렬, motion에 해줬던 것처럼,

이 경우에는 projective transformation을 struture, motion 행렬에 적용해줄 수 있다.

(motion matrix에는 $4\times4$ projective transformation $H$를, structure에는 $H^{-1}$를)

그렇게 해도 결과적으로 image plane에서의 observations은 달라지지 않는다.

Affine의 경우와 마찬가지로 $m$개의 motion matrix $M_i$와 $n$개의 3D 점 $X_i$를 이용해 $mn$개의 observation $x_{ij}$를 잡을 수 있다.

카메라와 점들은 up to scale로 $4\times4$ projective transformation으로 변환될 수 있으므로, $2mn$개의 equation과 $11m+3n-15$의 미지수를 갖는다.

따라서 이를 이용해서 필요한 view와 observation의 개수를 결정할 수 있다.

The algebraic approach

두 카메라에 대한 SFM을 구하기 위해 fundamental matrix $F$를 이용한 대수적 접근(algebraic approach)을 한번 다뤄보자.

이 대수적 접근법의 주 아이디어는 perspective transformation $H$가 적용된 카메라 행렬 $M_1, M_2$를 계산해내는 것이다.

각 카메라 행렬 $M_i$가 $H$가 적용된 행렬만 계산해낼 수 있기 때문에, 첫번째 카메라 projection matrix $M_1H^{-1}$을 canonical하다고 잡을 수 있다.

마찬가지로 두 번째 카메라에도 다음과 같이 똑같은 transformation이 적용돼야 한다.

$$ M_1H^{-1}=\begin{bmatrix}I&0\end{bmatrix}\quad\quad M_2H^{-1}=\begin{bmatrix}A&b\end{bmatrix} $$

일단 이 문제를 해결하기 위해서는 eight point algorithm을 이용해서 fundamental matrix $F$를 구해야 한다.

그 후, $F$를 이용해 $M_1,M_2$를 추정해낸다.

우선, 대응하는 observations $p,p^\prime$에 해당하는 3D 점 $P$를 정의한다.

우리가 두 camera projection matrix에 똑같이 $H^{-1}$을 적용했기 때문에, structure에는 $H$를 적용해줘야 한다. ( $\tilde{P}=HP$ )

따라서, pixel 좌표 $p,p^\prime$은 다음과 같이 변환된다.

$$ p=M_1P=M_1H^{-1}HP=\begin{bmatrix}I&0\end{bmatrix}\tilde{P}\\p^\prime=M_2P=M_2H^{-1}HP=\begin{bmatrix}A&b\end{bmatrix}\tilde{P} $$

그리고 $p$와 $p^\prime$으로부터 다음과 같은 식을 유도할 수 있다.

$$ \begin{align*}p^\prime&=[A|b]\tilde{P}\\&=A[I|0]\tilde{P}+b\\&=Ap+b\end{align*} $$

양변에 $b$를 cross product 해주면,

$$ p^\prime\times b=(Ap+b)\times b=Ap\times b $$

과 같고, cross product의 정의에 따라, $p^\prime\times b$는 $p^\prime$과 perpendicular하다.

따라서,

$$ \begin{align*}0&=p^{\prime T}(p^\prime\times b)\\&=p^{\prime T}(Ap\times b)\\&=p^{\prime T}(b\times Ap)\\&=p^{\prime T}[b]_\times Ap\end{align*} $$

이 성립한다. 그런데 마지막 식의 꼴을 보면 fundamental matrix의 정의인 $p^{\prime T}Fp=0$가 떠오를 것이다.

만약 $F=[b]_\times A$ 라고 잡으면, $A$와 $b$를 구하는 문제가 그냥 decomposition이 되는 것이다.

그렇다면, 먼저 $b$를 결정해보자.

Cross product의 정의에 따라, $Fb$를 다음과 같이 쓸 수 있다.

$$ Fb=[b]_\times Ab=(b\times A)b=0 $$

$F$는 singular하기 때문에(rank가 2임), $b$ 는 SVD를 이용해 $\|b\|=1$일 때 $Fb=0$의 least square solution을 구하는 것이다.

다음은 $A$를 구해보자.

$A^\prime=-[b]_\times F$로 잡으면,

$$ \begin{align*}[b_\times]A^\prime&=-[b_\times][b_\times]F\\&=-(bb^T-|b|^2I)F\\&=-bb^TF+|b|^2F\\&=0+1\cdot F\\&=F\end{align*} $$

이므로 따라서 $A=A^\prime=-[b]_\times F$ 가 성립한다.

따라서 다음과 같이 카메라 행렬 $M_1H^{-1}$과 $M_2H^{-1}$에 대해 다음과 같은 식이 성립한다.

$$ \tilde{M_1}=\begin{bmatrix}I&0\end{bmatrix}\quad\quad\tilde{M_2}=\begin{bmatrix}-[b_\times]F&b\end{bmatrix} $$

단순히 식만 유도해내는 게 아니라, $b$를 기하학적으로 해석해보자.

$b$는 $Fb=0$을 만족한다.

Epipole 또한 $Fe_2=0$ 과 $F^Te_1=0$ 과 같은 식을 만족했다.

따라서 $b$는 epipole 임을 알 수 있다.

따라서 다음과 같이 camera projection camera의 식을 변형할 수 있다.

$$ \tilde{M_1}=\begin{bmatrix}I&0\end{bmatrix}\quad\quad\tilde{M_2}=\begin{bmatrix}-[e_\times]F&e\end{bmatrix} $$

Determining motion from the Essential matrix

대수적 접근으로 reconstruction이 좀 더 잘되게 하려면 calibrate된 카메라를 사용하는 것이다.

앞서서 우리는 calibrate된 카메라의 경우 essential matrix를 썼었다.(fundamental의 특별한 경우, 즉 normalized coordinates)

또한, 다음과 같은 식도 우리는 알고 있다.

$$ E=K^TFK $$

Essential matrix의 경우는 calibrated camera의 경우이므로, 5의 자유도 즉 extrinsic parameter의 정보만을 encode하고 있다. (회전과 이동)

공교롭게도, 이 $R,t$가 딱 우리가 motion matrix를 찾아내기 위해 필요한 것들이다.

먼저 essential matrix $E$가 다음과 같이 표현되었다.

$$ E=[t]_\times R $$

그러므로 $E$를 두 개의 component로 분해해볼 수 있다.

먼저, cross product 행렬인 $[t]_\times$가 skew-symmetric하다.

그래서 여기서 분해에 사옹할 두 개의 행렬을 먼저 정의해보면,

$$ W=\begin{bmatrix}0&-1&0\\1&0&0\\0&0&1\end{bmatrix},\quad\quad Z=\begin{bmatrix}0&1&0\\-1&0&0\\0&0&0\end{bmatrix} $$

(여기서 나중에 사용할 중요한 성질은, $Z=\text{diag}(1,1,0)W$ 이 up to a sign 으로 만족하고,

$ZW=ZW^T=\text{diag}(1,1,0)$ 이 up to a sign으로 만족한다.)

Eigenvalue decomposition을 하면 up to scale로 다음과 같이 분해를 할 수 있다.

$$ [t]_\times=UZU^T $$

($U$는 orthogonal matrix임)

따라서, 이 분해를 다음과 같이 바꿔 쓸 수 있다.

$$ E=U\text{diag}(1,1,0)(WU^TR) $$

자세히 보면, SVD꼴인 $E=U\Sigma V^T$와 닮았다. (두 개의 singular value인 것도 비슷함)

따라서 다음과 같이 $E$를 factorization할 수 있다.

$$ [t]_\times=UZU^T,\quad\quad R=UWV^T\,\text{or}\,\,\,UW^TV^T $$

(위와 같은 factorization만이 가능함이 가능하고 타당함을 증명할 수 있지만 생략)

이런 $E$의 factorization은 행렬 $UWV^T$와 $UW^TV^T$가 orthogonal할 때만 보장된다.

그리고 이 $R$ 행렬이 타당한 회전행렬임을 확인하기 위해선, $R$의 determinant가 양수임을 보이기만 하면 된다.

$$ R=(\det{UWV^T})UWV^T\,\text{or}\,\,\,(\det{UW^TV^T})UW^TV^T $$

회전 행렬 $R$과 마찬가지로, 평행이동 벡터 $t$도 여러 개가 있을 수 있다.

Cross product의 정의에 따라,

$$ t\times t=[t]_\times t=UZU^Tt=0 $$

이며, $U$는 unitary하므로 $\|[t]_\times\|_F=\sqrt{2}$ 이다.

따라서, $E$는 up to scale인 것과 위의 방정식으로부터 이 factorization에서 $t$의 추정치는 다음과 같다.

$$ t=\pm U\begin{bmatrix}0\\0\\1\end{bmatrix}=\pm u_3 $$

($u_3$는 $U$의 마지막 column)

뿐만 아니라 $[t]_\times=UZU^T$를 이용해도 똑같은 결과를 얻을 수 있다.

위 그림처럼 4가지 가능한 $R,t$쌍이 있다. ($R,t$각각 2개의 경우의 수가 있으므로)

그러므로 이상적인 조건 하에서, 단 하나의 점만 있으면 정확한 $R,t$쌍을 찾을 수 있다.

올바른 $R,t$ 쌍에서, triangulated point $\hat{P}$는 두 카메라의 앞에 있어야 하고, 이는 이 점이 두 카메라 좌표계에서 $z$축으로 양의 값을 가짐을 의미한다.

Measurement noise로 인해 보통 하나의 점에 의존하지는 않고, 여러 점으로 triangulate를 진행하여 대부분의 점들이 카메라들의 앞쪽에 있도록 하는 올바른 $R,t$ 쌍을 찾는다.

An example structure from motion pipeline

Motion 행렬 $M_i$를 찾고 나면, 이걸 이용해서 월드 좌표계의 점 $X_j$를 결정할 수 있다.

대수적 접근의 경우, 그런 점들의 추정치는 perspective transformation $H$에 upto scale하다.

Essential matrix로부터 카메라 행렬을 추출해낼 때, 이 추저이는 up to scale하다.

두 경우 모두 3D 점들은 앞에서 다뤘던 triangulatio method를 이용해 추정된 카메라 행렬에 의해 계산된다.

Multi-view로의 확장은 여러 카메라를 연결하여 수행할 수 있다.

어떤 카메라의 pair이던간에 충분한 대응점이 있다면, 앞서 다뤘던 대수적 접근법이나 essential matrix를 이용해 계산해낼 수 있다.

이렇게 reconstructed된 3D 점들은 카메라 쌍에서 사용가능한 포인트 대응에 연관이 된다.

이러한 pairwise solutions들은 bundle adjustment라는 기법을 통해 최적화될 수 있다.

Bundle adjustment

이전 방법들의 경우 한계점이 있었다.

Factorization의 경우 모든 점들이 모든 image에서 보인다는 가정을 했었다.

하지만 실제로는 대응점을 찾기가 어렵거나 안 보일 때가 많다.

따라서, 대수적 접근이 카메라들을 연결하여 결합한 solution을 만들수는 있지만, 모든 카메라와 3D 점들을 사용한 일관되고 최적화된 reconstruction은 풀 수가 없다.

이런 문제점을 해결하기 위해 nonlinear method인 bundle adjustment를 알아보자.

최적화에서는, estimated된 카메라로의 reconstructed point의 projection과 대응하는 observation사이의 pixel 거리인 reprojection error를 줄이는 것이 목표이다.

앞서 triangulation에서 다뤘던 nonlinear optimization에서는 두 개의 카메라의 경우를 가정했었고, 또 모든 대응점이 각 카메라에서 보인다고 가정했었다.

Bundle adjustment는 여러 개의 camera를 다루지만, 각 카메라에서 보이는 observation에 대해서만 reprojection error를 계산하므로, 앞서 배운 triangulation에서의 nonlinear method와 상당히 유사하다.

이런 bundle adjustment를 풀기위한 대표적인 방법으로 Gauss-Newton 알고리즘과 Levenberg-Marquardt 알고리즘이 있다.

Bundle adjustment는 많은 수의 view에 대해서도 쉽게 처리를 할 수 있고, 모든 이미지에서 관찰되지 않은(일부 이미지에서만 해당 점이 관찰됨) 경우일지라도 처리를 할 수 있다.

하지만 view의 수가 많아질수록 파라미터의 수가 늘어나고, nonlinear optimization technique에 의존하므로 초기 조건이 매우 중요할 수 있다.

따라서, bundle adjustment는 보통 SFM의 마지막 단계에서 구현이 된다.

즉, factorization이나 algebraic approach를 이용해 합리적인 초기해를 구해 놓고, bundle adjustment를 진행하는 것이다.

더 자세한 factorization과 nonlinear method와 구현코드가 궁금하다면

https://github.com/ianpark318/CS231A/blob/main/ps2/ps2_code/PSET2.ipynb 참고