선형 광 값들을 이용한 이미지 처리 및 기타 이미지 처리 개선 document_id A220623044232

비디오 처리 분야에 있어서의 예시적인 문제점들 오늘날 사용되고 있는 비디오 처리 기술은 수년에 걸친 이러한 기술의 진화를 추적함으로써 가장 잘 이해될 수 있다. 그 당시 산업이 직면했던 문제점들을 해결하는 특징들이 진화의 각종 단계에서 추가되어 왔다. 호환성과 일관성을 유지하기 위해, 이후의 기술들은, 이 특징들이 설계될 때 해결하고자 했던 문제점들이 그 이후 사라졌음에도 불구하고, 이 특징들 중 일부를 유지해왔다. 그 결과, 현재의 기술은, 서로 다른 시기에 산업이 직면했던 이전의 일련의 문제점들을 반영하는 이러한 역사적 기반의 특징들의 응집체라 할 수 있으며, 표준 그룹, 변화하는 기술 기반 제약 및 기회 사이에서 절충된다. 비디오 처리 기술의 상술된 특성의 결과, 이 분야에서 종사하고 있는 자들은 비디오 처리 기술의 특정 양태에 관해 고정 관념(entrenched mindset)을 지니게 되었다. 특정 비디오 정보를 어떻게 해석하는가에 관한 고정 관념이 있고, 이러한 비디오 정보를 어떻게 "올바르게" 처리하는가에 관한 고정 관념이 있다. 본 발명자에 의해 인식되는 바와 같이, 이러한 고정 관념들 중 다수가 제대로 된 것이 아니어서 재고될 필요가 있다. 고정 관념들 중 주요 고정 관념은, 비디오 정보가 일반적으로 방송 소스, 저장 매체(예를 들면, DVD 디스크), 또는 다른 소스로부터 이 정보가 수신되는 형태로 처리되어야만 한다는 것이다. 그러나, 많은 비디오 표준은 비디오 정보가 디스플레이되기 전에 처리되는 것을 기대하며 설계되지 않았다. 예를 들면, 종래의 텔레비전은 복잡한 처리 기능을 수용하지 않는다; 이 장치는 단지 비디오 정보를 수신하고 이를 디스플레이한다. 이와 같이, 비디오 정보가 수신되는 형태는 이러한 정보의 효율적인 처리를 즉시 수용하지 못한다. 그 결과, 용인된 비디오 정보의 여러 형태에 표준 처리 알고리즘을 직접 적용함으로써 다양한 아티팩트(artifacts)가 생겨났다. 일부 경우 당업자들은 이 아티팩트를 주목해왔다. 그러나, 이용되고 있는 기술의 기본 전제에 이의를 제기하기보다는, 당업자들은 종종 이 문제점들을 개선하는 데 있어 편협적인 단편들에 의지해왔다. 이러한 해결책은 임의의 고유의 응용 상황에서의 문제점을 감출 수는 있지만, 대개 그 문제를 해결하지는 못한다. 예를 들면, 비디오 정보는 비선형이고(nonlinear), 비월주사되며(interlaced), 크로마 서브샘플링되고(chroma subsampled), 루마(luma)-관련 컬러 공간의 일부 변형(예를 들면, Y'U'V' 정보)으로 표현된 형태로 비디오 처리 파이프라인에 의해 종종 수신된다(용어 "비선형"은 들어오는 신호와 이 신호로부터 생성되는 결과 출력 밝기 간에 비선형 관계가 있다는 것을 의미함; 상기 문장에서의 다른 용어는 이하에 자세히 설명될 것임). 당업자들은 비디오 정보의 크기를 조정하거나, 비디오 정보를 다른 정보와 결합(합성)시키는 등에 의해, 규정된 방식으로 정보를 수정하기 위해, 이 정보에 각종 선형-유형의 처리 알고리즘을 적용하고자 할 수 있다. 본 발명자에 의해 인식되는 바와 같이, 이러한 특성의 비선형 비디오 정보를 처리할 때, 이러한 알고리즘 중 다수가 최적의 결과 또는 심지어는 옳은 결과를 제공하지 못한다. 비월주사 크로마 서브샘플링된 4:2:2 또는 4:2:0 정보(이하에 정의될 것임)로만 작업하면 이러한 나쁜 결과를 악화시킨다. 예를 들면, 4:2:2 또는 4:2:0으로 정보를 처리하면 비디오 처리 파이프라인의 다른 단계 전체에 걸쳐 오차를 전파하게 된다. 육안으로 식별할 수 있거나 또는 식별할 수 없는, 다양한 아티펙트로 된 처리된 결과의 결함이 분명히 나타난다. 다시 언급하자면, 당업자들은 나쁜 결과에 주목했지만 그 원인을 알아내지 못했다. 일부 경우, 이것은 당업자가 많은 비디오 코딩 표준의 복잡한 특성을 완전히 이해하지 못했기 때문일 수 있다. 다른 경우, 당업자들은 자신들이 비선형 정보를 처리하기 위해 선형 알고리즘을 이용하고 있다는 것을 모를 수도 있다; 사실, 일부 경우, 당업자들은 자신이 선형 정보를 다루고 있다고 잘못 알고 있을 수도 있다. 또한, 비디오 처리 분야에서는 일반적으로, 이미지 정보의 중간 처리 및 이러한 정보 수정이 아니라, 이미지 정보의 생성에 초점을 맞춰 왔다. 선형 유형의 알고리즘을 비선형 정보에 적용하는 것은, 비디오 처리 분야에서의 상술된 고정 관념의 단지 일례다. 이하에 설명되는 바와 같이, 예를 들면 디더링(dithering)의 경우에서와 같이, 최적의 결과를 만들지 못하는 많은 다른 기술이 정정되어 오고 있다. 예를 들면, 당업자들은, 적은 양의 임의 잡음을 입력 이미지 정보에 추가하여 그 결과 잡음 이미지를 양자화함으로써, 일부 디더링-양자화 알고리즘에 의해 발생된 아티팩트를 개선시키고자 할 수 있다. 이러한 기술은 잡음 이미지와 양자화된 결과 간의 차를 계산함으로써 양자화 오차를 평가한다. 이것은 디더링 아티팩트를 해결하는 효과가 있을 수 있지만, 그 대가로 본래의 이미지 정보에 추가된 임의 잡음의 양에 비례하여 출력 이미지의 잡음이 심해진다. 비디오 처리 업계에는, 중요하지만 포착하기 어려운 결점을 인식하지 못한 채, 관습적으로 그리고 익숙하기 때문에 계속해서 적용되고 있는 고정된 생각의 다른 예가 많이 있다. 본 명세서에 기술된 개선 사항의 주요 주제는, 대안의 해결책의 설계와 함께 이러한 완고한 생각을 재고하는 것을 포함한다. 비디오 처리 분야는 용어가 많다. 따라서, 서두의 항목으로서, 독자들을 돕기 위해 비디오 처리 분야에서의 일부 논제에 대한 간단한 소개가 이하에 제공될 것이다. 예를 들면, 상술된 용어 일부(선형, 비월주사, 루마, 크로마-서브샘플링 등)가 이하에 정의된다. 용어에 있어서, 본 명세서 전반에서 사용되는 용어 "이미지 정보"는 움직임 비디오 정보를 포함하는(그러나 이에 제한되지는 않음) 임의의 종류의 시각적인 출력으로서 렌더링될 수 있는 광범위한 부류의 정보를 나타내는 데 사용된다. 배경 개념 ㆍ컬러 공간 및 관련된 고려사항 컬러는 3개의 성분을 이용하여 지정될 수 있다. 불연속적인 컬러 성분들을 이용하는 컬러 성분량의 전송에 의존하는 이미지 스트림을 성분 비디오라 지칭한다. 한 일반적인 지정법은 적색, 녹색 및 청색(RGB) 성분을 이용하여 정의한다. 보다 형식적으로, RGB 성분은 소정의 스펙트럼에 같은 컬러로 인식되는 컬러를 생성하는 기준 램프의 비례 강도를 기술한다. 일반적으로 RGB 컬러 공간은 자신의 컬러 프라이머리들 및 자신의 백색점에 관련된 크로마 값에 의해 지정될 수 있다. 백색점은 기준 흰색과 관련된 크로마를 지칭한다. 컬러 이미지들을 재현하는 전자 장치는 3가지 유형의 광원을 제공함으로써 사람의 시각의 3원색 성질을 보완한다. 이 3가지 유형의 광원은 사람 관측자에게 서로 다른 컬러로서 인지되는 서로 다른 스펙트럼 반응들을 산출한다. 예를 들면, 음극선관(CRT)은 적색, 녹색 및 청색의 형광체(phosphor)들을 제공하여 서로 다른 컬러들을 생성하고, 따라서, 상술된 RGB 컬러 공간의 일부 변형을 보완한다. 다른 기술들은 형광체를 이용하지 않지만, 그 외에도 적어도 3 종류의 빛을 발산하는 광원을 이용하여 색을 재현한다. 그러나, RGB 코딩 모델은 이미지 정보의 전송에서는 비효율적인 선택일 수 있고, 일부 기존의 표준을 잘 따르지 않는다. 따라서, 이미지 정보는 일반적으로 RGB가 아닌 몇몇의 코딩 모델을 이용하여 목표 장치에 전송된다. 수신 시에, 이미지 정보는 디스플레이 장치에 의해 프레젠테이션용 RGB-관련 컬러 공간으로 내부적으로 변환될 수 있다. 표제 "감마 고려사항" 하에 이하 기술될 바와 같이, 각 R, G, 또는 B 성분 데이터는 R', G' 및 B' 값이라 지칭되는 이 성분의 프리-감마(pre-gamma) 수정된 형태로 표현될 수도 있다(일반적으로 관례에 따라, 본 명세서에서 프라임 부호(prime)는 비선형 정보를 나타낸다). 이와 관련한 일반적인 용법은 루마-관련 성분(Y) 및 크로마-관련 성분을 참조하여 컬러를 정의하는 것이다. 루마는 일반적으로 빛의 인식되는 광도(밝기)를 지칭한다. "루마(luma)"(Y')라고 지칭되는, 루마는 비선형 대응부를 산출하기 위해 (이하 "감마 고려사항" 하에 기술될 방식으로) 프리-감마-수정된 형태(pre-gamma-corrected form)로 표현될 수 있다. 크로마 성분은 루마에 관련된 이미지 정보의 컬러 성분량을 정의한다. 예를 들면, 디지털 도메인에서, 심볼 "Cb"는 (통상적으로 8비트 값들에서의 -127...128 범위로부터) 차이 B'-Y'의, n 비트 정수형 스케일링된 표현에 대응하고, 심볼 "Cr"은 차이 R'-Y'의, n 비트 정수형 스케일링된 표현에 대응한다. 심볼 "Pb"는 Cb의 아날로그 대응부를 지칭하고, 심볼 "Pr"은 Cr의 아날로그 대응부를 지칭한다. 심볼 Pb 및 Pr은 또한 [-0.5...0.5]의 공칭 범위를 가지는 디지털 정규화된 형태의 Cb 또는 Cr을 지칭할 수 있다. CbCr 및 PbPr에 의해 정의되는 성분 이미지 정보는 비선형 정보를 표현할 때 형식적으로 프라임 부호가 붙을 수 있다(예를 들면, Cb'Cr' 및 Pb'Pr'). 그러나, Pb, Pr, Cb 또는 Cr이 항상 비선형 데이터를 지칭하는 것은 아니기 때문에, 프라임 표기는 종종 편리성과 관례에 따라 생략될 수 있다(예를 들면, Y'PbPr이 Y'Pb'Pr' 대신에 사용됨). 컬러 성분량은 또한 (상술한 성분 비디오가 아닌) 복합 비디오로서 통신될 수 있다. 복합 신호는 루마 및 크로마 정보를 한 신호로 결합시킨다. 예를 들면, 코딩 시스템 Y'UV에서, U는 B-Y의 스케일된 버전을 나타내고 V는 R-Y의 스케일된 버전을 나타낸다. 그러면 이들 루마 및 크로마 성분은 하나의 신호를 제공하도록 처리된다. 코딩 시스템 Y'IQ는 상술한 방식으로 U 및 V 성분을 변환함으로써 형성된 또 다른 복합 코딩 시스템을 정의한다. 업계에서 역사적으로 이들 Y-관련 컬러 공간(Y'CbCr, Y'PbPr, YUV, YIQ 등)의 사용을 장려한 한 이유는, 이들 컬러 공간 내의 컬러 이미지 정보를 줄이는 것이 RGB 컬러 공간에 표현되는 이미지 정보에 비해 보다 쉽게 수행될 수 있기 때문이다. 이 컬러 공간은 또한 역행하여 흑백 이미지 정보를 위해 개발된 기존의 표준과 호환가능하다. "루마-관련 정보"라는 용어는 일반적으로 밝기-관련 성분 및 크로마-관련 성분을 지니는 임의의 컬러 공간을 지칭하며, 이것은 적어도 상술된 컬러 공간 전부를 포함한다. 하나 이상의 행렬 유사 변환을 이용하여 하나의 컬러 공간으로부터 다른 컬러 공간으로 컬러 성분량을 변환하는 것은 일반적으로 가능하다. 보다 형식적으로, 조건등색(metamerism)의 특성은 컬러 공간 계수의 한 집합을 매칭 함수의 다른 집합에 의하여 표현하는 것을 가능하게 한다(여기서 "조건등색"은 컬러 공간 계수의 동일한 집합에 매핑되어 동일하게 인식되어 보이는 - 즉, 동일한 색으로 보이는 2개의 스펙트럼을 지칭한다). ㆍ감마 고려사항 CRT는 선형 반응 변환 함수를 갖지 않는다. 다시 말하면, CRT에 적용되는 전압량과 CRT에 의해 생성되는 결과적인 루마의 관계는 선형 함수를 정의하지 않는다. 보다 상세히 기술하자면, CRT의 예측되는 이론적인 반응은 5/2승 법칙에 비례하는 반응을 가진다; 즉, 소정의 입력 전압 "V"에 대해, CRT의 결과 루마 "L"은 L=V2.5로 계산될 수 있다. 변환 함수는 또한 본 명세서에서는 "감마 반응 함수"라 지칭되며, 전압 신호의 지수는 "감마"라 지칭된다. 한편, 이미지 정보가 카메라 또는 3-D 렌더링 시스템에 의해 캡처될 때, 이미지 정보는 선형 RGB 컬러 공간으로 표현되고, 이것은 들어오는 신호와 출력 밝기 간에 선형 관계가 있다는 것을 의미한다. 카메라의 선형성과 디스플레이의 비선형성 간의 불일치를 해결하기 위해, 카메라는 통상적으로 감마의 반대(inverse)를 적용하여 생성된 신호를 미리-보상한다. 즉, 카메라의 변환 함수(때때로 인코딩 변환 함수라 지칭됨)는, CRT 루마 반응의 근사적인 역함수이다. 인코딩 변환 함수(또는 역 감마)의 적용 결과는 비선형 형태로 "감마 수정된" 이미지 정보를 산출한다. 비선형 신호가 디스플레이 장치를 지나갈 때, 선형에 가까운 루마가 산출된다. 다시 한번, 상술된 표기에 따라서, 비선형(또는 미리 보상된) 이미지 정보는, 예를 들면, R'G'B' 또는 Y'CbCr(여기서, Cb 및 Cr 성분의 프라임 부호가 내포되어 있음)과 같이 그 성분에 프라임 부호를 붙여 표시된다. 따라서, 이미지 정보를 루마-크로마 비선형 (보상된) 형태로 저장하고 전송하는 것이 일반적이며 표준이 되어 왔다. 호환성을 유지하기 위해, CRT에 디스플레이될 신호를 산출하는 모든 소스는 반드시 먼저 역함수를 신호에 적용해야만 한다. 특수한 고려사항으로서, 변환 함수를 이용하는 이미지 정보의 인코딩은 일반적으로 함수의 저전압 영역에 특수한 근사 함수를 적용시킨다. 즉, 인코딩 기법은 일반적으로 이러한 부분에 선형 세그먼트를 제공하여 이미지 센서 내의 잡음의 영향을 줄인다. 이 세그먼트는 "선형 테일(tail)"이라 지칭되며, 정의된 "토우 사면(toe slope)"을 가진다. 이 세그먼트는 실제 CRT에 제공된 이미지 정보의 질을 향상시키는데, 그 이유는 이 장치가 그 물리적 구조로 인해 0에 가까운 루마-전압 반응을 갖기 때문이다. ㆍ루마 정보에 관련된 크로마 정보의 샘플링 및 정렬 사람의 시각은 빛의 크로마 성분보다 빛의 광도의 변화에 더 잘 반응한다. 코딩 시스템은 이러한 사실을 이용하여 루마 정보(Y')의 양에 관련하여 코딩된 크로마(CbCr) 정보의 총량을 줄인다. 이 기법은 크로마 서브-샘플링이라 지칭된다. 일반적으로 L:M:N으로서 표현된 숫자 표기가 이 샘플링 전략을 표현하는 데에 이용될 수 있는데, 여기서 "L"은 루마 성분(Y')의 샘플링 기준 인자를 나타내고, "M" 및 "N"은 루마 샘플링(Y')에 관련된 크로마 샘플링(예를 들면, 각각 Cb 및 Cr)을 지칭한다. 예를 들면, 4:4:4 표기는 매 루마 샘플 당 하나의 크로마 샘플이 존재하는 Y'CbCr 데이터를 나타낼 수 있다. 4:2:2 표기는 매 2개의 루마 샘플 당 (균일하게) 1개의 크로마 샘플이 존재하는 Y'CbCr 데이터를 나타낼 수 있다. 4:2:0 표기는 매 2×2 클러스터의 루마 샘플 당 하나의 크로마 샘플이 존재하는 Y'CbCr 데이터를 나타낼 수 있다. 4:1:1 표기는 매 4개의 루마 샘플 당 (균일하게) 하나의 크로마 샘플이 존재하는 Y'CbCr 데이터를 나타낼 수 있다. 코딩 전략이 크로마 정보보다 루마 정보를 더 제공하는 이들 환경에서, 디코더는 공급되는 크로마 정보에 기초하여 보간법(interpolation)을 수행함으로써 "상실된" 크로마 정보를 복원할 수 있다. 보다 일반적으로, 다운-샘플링(downsampling)은 이미지 샘플의 초기 집합에 비하여 더 작은 이미지 샘플을 산출하는 임의의 기법을 지칭한다. 업-샘플링(upsampling)은 이미지 샘플의 초기 집합에 비하여 더 많은 이미지 샘플을 산출하는 임의의 기법을 지칭한다. 그러므로, 상술된 보간법은 업-샘플링의 한 유형을 정의한다. 코딩 전략은 또한 크로마 샘플이 대응하는 루마 샘플에 공간적으로 "정렬"되는 방식을 지정한다. 코딩 전략들은 이와 관련하여 달라진다. 몇몇은 루마 샘플로 크로마 샘플을 정렬하여, 크로마 샘플이 루마 샘플 "위에" 바로 위치되도록 한다. 이를 코싸이팅(cositing)이라 지칭한다. 다른 전략은 루마 샘플의 2차원 배열 내의 빈틈의 공간에 크로마 샘플을 위치시킨다. ㆍ양자화 고려사항 양자화는 불연속적인 숫자 값들이 컬러 성분들(또는 흑백 정보)의 신호 진폭들에 할당되는 방법을 지칭한다. 디지털 도메인에서, 숫자 값들은 규정된 개수의 단계들로 컬러 공간 값의 규정된 범위(가뭇(gamut))에 걸쳐 있다. 예를 들면, 각각의 성분이 0 내지 255까지의 값을 가정할 수 있도록, 각 성분값을 기술하기 위한 255 단계를 이용하는 것이 일반적이다. 8 비트를 이용하여 각 컬러 값을 표현하는 것이 일반적이다. 고 정밀도(precision) 숫자를 저 정밀도 숫자로 변환하는 것은 종종 다양한 아티팩트를 산출할 수 있다. 플로이드-스텐버그 알고리즘과 같은 각종 오차 분산 알고리즘이 이러한 문제점을 해결하기 위해 고안되었다. 오차 분산 알고리즘은 이웃하는 픽셀 위치에 대한 양자화의 반올림 결과에 의해 산출되는 오차를 분산시킬 수 있다. 플로이드-스텐버그플로이드-스텐버그 추가의 배경 정보는 이하의 상세한 설명 내에서 제공된다. ㆍ비월주사(interlaced) 대 순차주사(progressive) 표현 고려사항 원래, 텔레비전은 탑-다운(top-down) 순차주사 스위프(sweep) 방식으로 흑백 이미지만을 디스플레이했다. 오늘날, 종래의 텔레비전 신호는 비월주사 방식으로 주사된다. 비월주사 방식에서, 비디오 프레임의 제1 필드가 캡처되고, 바로 그 이후에, 비디오 프레임의 제2 필드(1/50초 또는 1/60초 이후)가 뒤따라온다. 제2 필드는 제1 필드의 주사 라인들 간의 틈 공간 내의 정보를 캡쳐하도록, 제2 필드는 제1 필드와 소량 정도 수직으로 관련된 오프셋이다. 사람 뷰어가 비디오 정보를 정보의 끊임없는 한 흐름으로 일반적으로 인식하도록 제1 및 제2 필드를 빨리 이어 디스플레이함으로써 비디오 정보가 제공된다. 그러나, 컴퓨터 모니터 및 다른 표시 장비는 탈-비월주사 방식인 순차주사 방식으로 이미지 정보를 디스플레이한다. 그러므로, 장치가 컴퓨터 모니터에 비월주사된 정보를 나타내기 위해서는, 장치는 대항 필드에 대한 데이터를 보간함("탈-비월주사"라고 지칭되는 프로세스)으로써 비월주사된 필드율로 순차주사식 프레임을 디스플레이해야 한다. 예를 들면, 비월주사된 필드를 디스플레이하기 위하여, 두 쪽 중 한 쪽에서 필드를 검사함으로써 라인들 간의 공간적 위치에 대해 "상실된" 데이터를 보간해야만 한다. 용어 "순차주사식 이미지 포맷"은 일반적으로 임의의 탈-비월주사된 이미지 포맷을 지칭한다. (예를 들면, 비디오 카메라로부터의) 이미지 정보는 통상적으로, 예를 들면, 제1 필드가 제2 필드와 (의미론적으로) 분리되어 저장되는 비월주사 형태로 저장된다. 이미지 정보가 단지 비월주사 TV 디스플레이상에 디스플레이될 것이면, 그 Y'UV 비월주사 정보는 CRT로 바로 전달될 수 있다. CRT는 그 Y'UV 정보를 R'G'B' 정보로 내부적으로 변환하고, 이 신호를 이용하여 출력 건(guns)을 구동한다. 비월주사는 그것이 이미지 정보의 유효 수직 해상도를 두 배가 되게 하기 때문에 이롭다. 그러나, 비월주사는 또한 아티팩트를 만든다. 이것은, 물체가 60Hz로 이동될 수 있지만, 비월주사 표시에서는 정보의 반만이 매 30Hz마다 보여지기 때문이다. 이러한 현상에 의해 산출되는 아티팩트는 종종 "페더링(feathering)"이라 지칭된다. 이 아티팩트는 특히 대상이 짝수 라인과 홀수 라인으로 분리된 것으로 보이는 하이 모션 비디오(high motion video)의 디스플레이에서 나타난다. 상술된 배경 개념 각각에 대한 추가의 정보는 Charles Poyton의 "Digital Video and HDTV(Morgan Kaufmann Publishers, 2003)"과 같은, 많은 입문 텍스트에서 얻을 수 있다.