마르코프 무작위장 - 이미지 노이즈 제거

이진 이미지에서 노이즈를 제거하는 예시를 바탕으로 비방향성 그래프의 적용에 대해 살펴보자. 노이즈가 포함된 관측된 이미지를 이진 픽셀값 yi ∈ {−1, +1}들의 배열로 표현해 보자. 이때 i = 1, ... ,D는 모든 픽셀들에 대한 인덱스다. 

왼쪽 상단은 원본 이미지, 오른쪽 상단은 노이즈를 인위적으로 첨가한 이미지, 왼쪽 하단은 ICM을 이용해 복원한 이미지, 오른쪽 하단에는 그래프 절단 알고리즘을 이용해 복원한 이미지이다.

깨끗한 원본 이미지가 있고(왼쪽 상단), 여기서 모든 픽셀을 10%의 확률로 뒤집는다고 하자(오른쪽 상단). 우리는 yi를 바탕으로 원본 이미지 xi를 추측해야 한다. 노이즈의 정도가 크지 않으므로 xi, yi 사이에 강한 상관관계가 있음을 알 수 있다. 또한 서로 근처에 있는 xi와 xj도 큰 상관관계를 가지는 것을 알 수 있다. 이러한 사전 지식을 바탕으로 위의 이미지를 마르코프 무작위장으로 나타낼 수 있다.

이미지 노이즈 제거에서의 마르코프 무작위장

이 그래프는 두 종류의 클리크를 가지고 있다. {xi, yi}형태와 {xi, xj}형태(이웃 픽셀)의 클리크이다.

 

{xi, yi}형태의 클리크들은 변수들 사이의 상관도를 표현하는 에너지 함수를 가지고 있다. 여기서는 이 클리크들에 대해 −ηxiyi 형태를 가지는 매우 단순한 에너지 함수를 사용하자. 이는 같은 부호일 때 더 낮은 에너지(따라서 더 높은 확률을 장려한다)를 가지도록 하고, 서로 다른 부호를 가지고 있을 때 더 높은 에너지를 가지게 한다.

 

{xi, xj}형태의 클리크들도 마찬가지로 픽셀들이 같은 부호를 가질 때 서로 다른 부호를 가질 때에 비해서 낮은 에너지를 가지도록 하고자 한다. 따라서 에너지 함수를 −βxixj와 같이 정의하였다. 

 

최대 클리크에 대한 임의의 음이 아닌 함수를 포텐셜 함수로 정했기 때문에 클리크의 부분집합에 대한 음이 아닌 함수라면 어떤 것이든 여기에 곱할 수 있다. 또한, 여기에 해당하는 에너지라면 어떤 것이든 더할 수 있다. 이를 바탕으로 이 예시에서는 원 이미지의 각 픽셀 i에 대해 추가 항인 hxi를 더할 것이다. 이러한 항은 하나의 특정한 부호가 다른 부호에 비해 더 선호되도록 하는 픽셀값 쪽으로 모델을 편향시킨다.

 

이 모델의 완전한 에너지 함수는 다음 형태를 가진다.

이를 바탕으로 x와 y에 대한 결합 분포를 다음과 같이 정의할 수 있다.

이제 y의 원소들을 노이즈가 있는 이미지의 픽셀로부터 얻은 관측값으로 고정시키자. 이를 바탕으로 노이즈가 없는 이미지에 대한 조건부 분포 p(x|y)를 간접적으로 정의하게 된다. 이는 이징 모델(Ising model)의 예시다. 이미지 복원 과정에서 높은 확률을 가지는 이미지 x를 찾고자 한다. 이를 위해 단순한 반복 테크닉인 ICM(iterated conditional mode)를 사용하자.

일단 첫번째로 xi를 초기화해야 한다. 이는 단순히 모든 i에 대해 xi = yi로 설정하면 된다. 그 다음 한 번에 하나씩 노드 xj를 선택해서 두 개의 가능한 상태 xj = +1, xj = -1에 대해 전체 에너지를 계산한다. 이때 다른 모든 노드 변수들은 고정해 놓는다. 그리고 둘 중 더 낮은 에너지를 가지는 상태로 xj를 설정한다. 이는 한 번에 하나의 변수가 변경되며, 이를 적당한 정지 조건이 만족할 때 까지 반복한다. 

 

위의 그림에서 ICM의 결과(왼쪽 하단)는 β  = 1.0, η = 2.1 그리고 h = 0으로 설정하였다. h=0의 의미는 xi의 두 상태에 대한 사전 확률이 동일하다는 의미다. 

 

이보다 더 좋은 성능을 나타내는 그래프 절단 알고리즘(오른쪽 하단)은  추후에 소개할 예정이다.