움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법 document_id A220623055994

지난 10년 간, 디지털 영상의 응용들은 극적으로 증가하고 있다. 이러한 응용들은 시네마 그래픽 파일 보관, 의학적 이미지화, 영상 저장 및 DVD에서의 플레이 백(playback)을 위한 디지털 영상 사용에 이른다. 나아가, 디지털 영상은 또한 케이블, 공중, 인터넷을 통한 더욱 효과적인 텔레비전 방송을 위한 기초를 형성한다. 최근의 디지털 영상의 응용은 특별히 중요하다. 디지털 영상에 기반을 둔 압축 알고리즘들은 아날로그 기술에 의한 것 보다 높은 압축률을 달성할 수 있고, 이로 인해 영상 전송을 위해 요구되는 대역폭을 감소시킨다. 이전의 케이블 채널의 대역폭은 단일 아날로그 영상 채널의 전송을 지원하는 데, 이 때, 디지털 압축 케이블 동작은 해상도/대역폭 트레이드 오프 커브(trade off curve) 상의 다양한 포인트들에서 동작할 수 있다. 또한, 평균 화질의 12개의 영상 채널 또는 고화질의 7 내지 8개의 채널이 영상의 하나의 아날로그 채널에 대한 대역폭으로 전송된다. 영상 압축은 또한 고선명 텔레비전(HDTV: high definition television)의 제작을 가능하게 만들었다. 영상 압축 없이는, 전송을 위해 요구되는 대역폭은 현재의 대역폭 할당에 의하여는 지원될 수 없다. 디지털 영상은 인터넷의 패킷화 된 기술들을 이용한 영상의 전송을 기반으로 한다. 이는 패킷의 도달 시간의 변동을 제거하기 위한 버퍼의 사용, 및 인터넷이 다른 사용자들에 의해 공유되는 경우의 채널 용량의 영상 신호에 의한 사용량을 더욱 더 감소시키는, 더욱 강력한 압축 알고리즘의 응용을 가능하게 한다. 디지털 영상의 보편적 사용은 노이즈 필터링 알고리즘들에 대한 증가되는 관심 및 수요의 소산이다. 노이즈 감소는, 영상에 존재하는 노이즈는 영상의 화질을 감소시킬 뿐 아니라 수반하는 신호 처리 작업 또한 어렵게 하므로, 전체적인 시스템 동작 성능을 저하시킬 수 있다. 노이즈는 압축 및 복원하는 디지털 영상에 대해 특히 유해하다. 이러한 노이즈의 영상은 압축 알고리즘들에 내재해 있다. 압축 알고리즘은 사람의 눈에 의해 지각되는 이미지들의 시퀀스를, 압축되지 않는 데이터로부터 생성되는 이미지와 거의 동일하게 되도록 재연하기 위해 설계된다. 노이즈가 제거되지 않기 때문에, 알고리즘들은 노이즈를 신호로써 다루게 되고, 노이즈의 요소들을 표현하는 데이터를 생성하도록 노력한다. 설상가상으로, 대부분의 경우, 영상 압축 수단의 출력은 데이터 율이 데이터가 전송되는 채널의 용량 률에 대응되도록 제한한다. 노이즈가 영상 압축기에 의해 출력되는 비트들에 포착되는 경우, 소스의 비트들만으로 실제 신호를 표현해야 한다. 그러므로, 노이즈의 감소(가능하면, 영상을 오염시키는 노이즈의 제거)는 영상 압축에 있어서, 중요한 요소이다. 노이즈는 원하는 신호를 간섭하는, 원치 않는 신호를 총괄하는 개념이다. 노이즈는 특히 일반적으로 진폭 변조된 잔류측대파 텔레비전 신호를 수신하기 위한 한계 신호 조건들을 갖는 영역에 위치하는 텔레비전 수신기들에 존재한다. 이 노이즈는 일반적으로 부가 노이즈, 화이트 노이즈, 및 가우스 노이즈로 분류된다. 아날로그 영상이 위상으로 전송되는 경우, 영상 신호는 캐리어에 주파수 변조된다. 신호 공간에서 노이즈로 표현되는 백터가 일반적으로 변조된 신호를 나타내는 백터보다 많이 작은 경우와 같이 지상 수신기가 문턱값(threshold)을 넘어 동작하는 경우, 지상 수신기의 출력 신호는 부가 노이즈 및 가우스 노이즈를 동반한다. 시스템이 문턱값에 근접하는 경우, 노이즈의 특성은 예를 들면, 주파수 영역 밖에서 잡히는 자동차 라디오의 FM 방송에서 들리는 딸깍하는 소리와 같이 불연속적이고(impulsive), 진상(leading)의 특성을 갖는다. 위성에 의한 영상 신호의 전송에 있어서, 임펄스(impulse)는 화면에 짧은 흰색 또는 어두운 줄무늬들로 나타난다. 위성 또는 지역 텔레비전 수신기는 또한 자동차로부터 기인하는 노이즈와 같이 인간에 의한 노이즈에 영향을 받을 수 도 있다. 영상(video)에 노이즈 감소(noise reduction)를 적용하는 것은 바람직한 영상 신호를 식별하는 절차이다. 그리고, 노이즈에 대하여 상기 식별된 바람직한 영상 신호를 식별하기 위한 정보를 이용하는 절차이다. 최고의 동작 수행은 디지털 기술의 사용을 통하여만 가능한 프로세싱 옵션의 광범위한 범위의 하나를 이용하는 것에 의하여 달성될 수 있다. 입력 영상은 수평적 및 수직적 좌표와 프레임 넘버의 식별자인 시간상의 좌표의 의하여 번호 매겨지는 무수한 픽셀 값들로써 표본화된다. 필터링 동작(filtering operation)은 출력 픽셀을 형성하기 위하여 입력 표본들에 대하여 수행되어지는 연속적 수학적 동작으로써 설계된다. 노이즈 감소 필터링을 위한 본원에서의 접근은 세가지 유형으로 분류된다. 즉, 공간적 노이즈 감소 필터(spatial noise reduction filter), 시간적 노이즈 감소 필터(temporal noise reduction filter), 및 3D 노이즈 감소 필터로 분류된다. 공간적 노이즈 제거 필터는 공간적 노이즈 제거 필터는 시간적 방향내의 정보를 무시하고 오직 공간적 도메인 내의 입력 이미지만을 필터링한다. 시간적 노이즈 제거 필터링은 시간적 방향에서의 픽셀들만을 필터링 하도록 동작하며, 적응적 방법의 동작(motion adaptive method)과 보상된 방법의 동작(motion compensated method)으로 더 분할될 수 있다. 적응적 방법의 동작은 프레임 간의 너비 및 높이(width and height)상의 동일 위치에 있는 픽셀을 필터링한다. 그리고, 필터 요소가 픽셀 위치에서 프래임들 간의 관련된 동작의 정도에 근거하는 것이 감지된다. 보상된 방법의 동작은 그들의 동작 측정 결과에 근거한 동작 궤도에 따라서 픽셀을 필터링한다. 삼차원 노이즈 제거 필터는 시간적 필터와 공간적 필터 각각의 장점을 얻기 위하여, 시간적 필터와 공간적 필터를 결합한다. 노이즈 감소는 처음부터 대부분이 독립적인 신호의 평균 공동 요소(averaging together element)를 포함한다. 주어진 픽셀이 노이즈가 없는(noise-free) 0.5의 값을 갖는다고 가정하자. 그것의 밝기(brightness)는 화이트와 블랙의 피크치 사이의 중간값이 된다. 픽셀은 노이즈 n1에 의하여 오염되어진다. 따라서 실제적으로 측정되는 제1 픽셀의 픽셀 값 P1은, P1 = 0.5 + n1 이 된다. 추가적으로 아는 바와 같이, 제2 픽셀은 P2 = 0.5 + n2 를 가지며, 또 다른 위치에서 발견될 것이다. 여기서, n1 과 n2 는 모두 노이즈 값이며, 상관되어지지 않고(uncorrelated), 서로 같은 분산(variance)을 갖는다. 0.5 P1 + 0.5 P2 의 가중된 평균값(weighted average)은 0.5 + 1/2(n1 + n2)이 된다. 1/2(n1 + n2)의 파워는 n1 또는 n2 의 파워의 1/2가 된다. 그러므로, 두 픽셀 값을 평균한 값이 예측되는 픽셀 값의 SNR을 2 펙터(factor of 2)만큼씩 향상시킨다. 그러나, 만약 P2가 P2 = 0.3 + n2 이면, 제2 픽셀(P2)의 밝기는 검정에 가까워지는 것을 뜻하고, 그러면 0.5 P1+0.5 P2 = 0.4 + 1/2(n1 + n2) 가 된다. 두 번째 경우에서의 평균을 하기 전에, P1과 P2를 동일하게 가중시키는 것의 전체적인 효과는 가중된 평균이 나타나게 되어있는 픽셀의 밝기에 대하여, 에러를 측정 장치로 전달하는 것이다. 상기의 예는 본 발명의 기본 원리를 설명한다. 특정 픽셀과 관련된 노이즈 레벨을 감소시키기 위하여, 노이즈 없는 밝기를 갖는 제2 픽셀 값을 갖는 가중치 평균은 본건의 하나와 가깝다. 노이즈가 없는 신뢰구간의 품질에 있어서 신용 레벨이 하이 레벨이면, 가중치는 근접하게 동일한 값을 갖는 2개 픽셀 값으로 지정된다. 만약 신용 레벨이 낮은 레벨이면, 제2 픽셀 레벨은 제1픽셀 값이 가중됨과 함께 제2 픽셀의 가중치를 0에 가깝게 만듦으로써 효과적으로 덜 고려하게 된다. 시간적 노이즈 감소 필터링의 일 장점은 제2 픽셀이 현재의 프레임에서의 주어진 픽셀에서와 유사한 노이즈 없는 밝기 레벨을 갖는 이전 프레임 내에서 발결 될 수 있는 가능성이 더 크다는 것이다. 왜냐하면, 종종 영상 내에서 프레임에서 프레임으로 작은 변화가 발생하기 때문이다. 또 다른 장점은 일정 프로세서에 따라서 발생하는 상기 픽셀 탄도들(trajectories)이 일차원을 가지며, 하나의 프레임 내에서의 픽셀로부터 다음의 다른 픽셀로 확장된다는 것이다. (탄도는 scene의 변화가 생기면 불연속적이게 된다.) 그러므로, 시간적 노이즈 감소에서의 프로세싱은 현재 프레임 내의 픽셀에서의 가중치 평균을 이용하기 위하여, 픽셀 값들의 시간상의 뒤쪽만을 바라본다. 공통적으로 평균 되어져야 하는 픽셀들 및 평균에 있어서 각각에 놓여질 가중치들을 적응적으로 감지하기 위하여, 시간적 필터링의 단순한 구조를 이용하기 위해서, 처리되지 않았거나 필터링되지 않은 자체적인 입력 데이터로부터 얻어지는 이용 방법이 필요하다.