영상 정합 장치 및 방법 document_id A220623061620

스테레오 영상 정합(Streo Image Matching) 기술은 스테레오 영상으로부터 3차원 영상를 얻기 위한 기술로서, 다수의 2차원 영상으로부터 3차원 입체 영상를 얻기 위해 이용된다. 여기서, 스테레오 영상은 동일 피사체를 동일선상의 서로 다른 위치에 위치한 두 대 이상의 카메라로 각각 촬영하여 서로 짝(pair)의 관계에 있는 다수의 2차원 영상을 칭한다. 즉, 스테레오 영상 정합은 스테레오 영상의 시차를 이용하여 스테레오 영상의 양안차를 추출함으로써, 피사체까지의 거리를 계산하는 과정이라고 볼 수 있다. 종래의 다이나믹 프로그램 방식의 스테레오 영상 정합 기술은 스테레오 카메라(좌측 카메라, 우측 카메라)로부터 얻은 스테레오 영상을 행 단위로 양 카메라의 중심선에 위치하는 영상(Center Referenced Disparity)으로 대치시켜 3차원 입체 영상을 획득하였다. 그런데, 종래의 다이나믹 프로그래밍 방식은 각 행을 각각 독립적으로 처리하고, 각 행의 처리시 윗 행 또는 아래 행과의 연관성을 고려하지않아 가로 줄무늬 노이즈를 유발시킬 수 있다. 물론, 줄무늬 노이즈의 발생은 각 카메라의 평가교정(Calibration)을 정확히 하면 해소될 수 있지만, 실제로 카메라를 정확히 평가교정(Calibration)하는 것은 어려우며, 평가교정을 정확히 한다 해도 각 카메라 간의 측정오차는 여전히 존재하기 때문에 완전히 해결하기는 어렵다. 또한, 종래의 다이나믹 프로그램 방식은 좌우 영상의 밝기가 일치한다는 전제(정확히 대응되는 픽셀)하에서 설계되었기 때문에, 스테레오 카메라에 입력되는 빛이 각기 다를 때(예컨대, 한쪽에만 강한 빛이 주어지는 경우)에는 영상 정합에 오류가 발생할 수 있다. 더욱이, 종래의 다이나믹 프로그램 방식은 현재 노드의 앞단계 노드로부터 전달받은 값을 이용하여 현재 노드의 각 픽셀에 대한 처리를 수행하여 이결과를 다음단계의 노드로 전달하므로, 오류가 발생한 픽셀의 주변 픽셀의 처리에도 영역을 미칠 수 있다. 또한, 종래의 다이나믹 프로그래밍 방식은 2~3개의 변수를 두고, 각 픽셀의 처리결과와 임계상수를 비교하여 스테레오 영상 정합을 실시하였는데, 외부 조명의 밝기 및 물체의 배치 등을 고려하지 않고 임계상수를 설정하였기 때문에 오류를 가중시킬 수도 있었다. 이를 방지하기 위해서는, 사용자가 주위 환경의 변화를 고려하여 수동으로 임계상수를 설정해야 한다는 문제가 있었다.