스케일러블 비디오 신호 인코딩 및 디코딩 방법 document_id A220623067382

TV 신호들에 요구되는 고대역폭을 이동전화들이나 노트북 컴퓨터에서 무선으로 송수신되는 디지털 비디오 신호들에 할당하기는 곤란하다. 이와 유사한 곤란성들이 장래에 폭넓게 사용될 이동 TV들과 휴대용 PC들에서도 발생할 것이다. 이와 같이, 이동 장치들에 이용될 비디오 압축 표준들은 높은 비디오 신호 압축 효율성들을 가져야 한다. 이러한 이동 장치들은 다양한 처리능력들과 다양한 프레젠테이션 능력들을 가짐으로써 다양한 압축 비디오 형태들이 마련되어야 한다. 즉, 초당 전송되는 프레임들의 수, 해상도, 그리고 픽셀당 비트들의 수와 같은 수많은 변수들의 상이한 조합들을 갖는 다양한 서로 다른 품질의 비디오 데이터들이 하나의 비디오 소스에 기반하여 제공되어야 한다. 이는 콘텐츠 제공자들에게 많은 부담을 지우게 된다. 상기와 같은 이유 때문에, 콘텐츠 제공자들은 각각의 소스 비디오에 대한 높은 전송률의 압축 비디오 데이터를 준비하는 한편, 이동 장치로부터 요구를 수신할 경우, 압축 비디오를 디코딩하고 상기 이동 장치의 비디오 처리 능력들에 적합한 비디오 데이터로 상기 디코딩된 비디오를 다시 인코딩하는 과정을 수행한다. 그러나, 이러한 방법은 디코딩, 스케일링 그리고 인코딩 과정들을 포함하는 트랜스코딩 절차를 수반하게 되어, 요구된 데이터를 상기 이동 장치에 제공하는데 있어서 어느 정도의 시간 지연을 초래한다. 또한, 상기 트랜스코딩 절차는, 다양한 타겟 인코딩 포맷들에 대응하기 위하여, 복잡한 하드웨어와 알고리즘들을 요구한다. 상기 문제들을 극복하기 위하여, 스케일러블 비디오 코덱(scalable video codec, SVC)이 개발되어 왔다. 이러한 방식은 비디오를 최상의 화질을 갖는 픽쳐들의 시퀀스로 인코딩하며, 한편, 이러한 방식은 상기 인코딩된 픽쳐 (프레임) 시퀀스(특히, 프레임들의 전체 시퀀스로부터 간헐적으로 선택되는 프레임들의 일부 시퀀스)의 일부가 소정의 화질을 생성할 수 있도록 디코딩될 수 있다는 것을 확신한다. 움직임 보상 시간 필터링(motion compensated temporal filtering, MCTF)은 인코딩 방식으로 스케일러블 비디오 코덱 (scalable video codec)에서 사용되는 것으로 제안되어 왔다. 상기 MCTF 방식은 초당 전송되는 비트들의 수를 감소시키기 위하여 높은 압축 효율, 즉, 높은 코딩 효율을 갖는다. 상기 MCTF 방식은 대역폭이 제한된 이동통신 환경과 같은 전송 환경들에 적용되기에 적합하다. 상술한 바와 같이, 스케일러블 코딩 방식으로 인코딩된 픽쳐들의 시퀀스 일부가 수신될 수 있고 또한 소정 레벨의 화질을 갖는 비디오로 처리될 수 있다는 사실이 확신되어도, 만약 전송률(bitrate)이 낮아지면 화질이 상당히 감소하는 문제점이 여전히 남아있다. 이러한 문제점의 해결책으로서, 낮은 전송률들에 대한 보조 픽쳐 시퀀스, 예를 들면, 작은 스크린 크기 또는 낮은 프레임 레이트를 갖는 픽쳐들의 시퀀스를 제공하는 것이다. 상기 보조 픽쳐 시퀀스는 베이스 레이어(base layer, BL)이라 부르고, 주 픽쳐 시퀀스는 인핸스트 또는 인핸스먼트 레이어(enhanced or enhancement layer)라 부른다. 동일한 비디오 콘텐트가 서로 다른 공간 해상도 또는 서로 다른 프레임 레이트를 갖는 두 개의 계층들로 인코딩되므로, 상기 베이스 및 인핸스트 레이어들의 비디오 신호들은 리던던시를 갖는다. 상기 인핸스트 레이어의 코딩 효율을 증가시키기 위하여, 움직임 정보 또는 상기 베이스 레이어의 텍스쳐 정보를 이용하여 상기 인핸스트 레이어의 비디오 신호가 예측될 수도 있다. 이러한 예측 (prediction) 방법을 계층간 예측이라 부른다. 도 1은 인트라 베이스 레이어 예측 방법과 인터레이어 레지듀얼 예측 방법의 예들을 나타낸다. 이러한 예들은 상기 베이스 레이어를 이용하여 상기 인핸스트 레이어를 인코딩하는 인터레이어 예측 방법들을 나타낸다. 상기 인트라 베이스 레이어 예측 방법은 상기 베이스 레이어의 텍스처 (texture) 또는 이미지 데이터를 사용한다. 특히, 상기 인트라 베이스 레이어 예측 방법은 인트라 모드에서 인코딩된 상기 베이스 레이어의 해당 블록을 이용하여 상기 인핸스트 레이어의 매크로블록의 예측 데이터를 생성한다. 상기 용어 ''해당 블록''은 상기 매크로블록을 포함하는 프레임과 임시적으로 일치하는 베이스 레이어 프레임에 위치하며 또한 만약 상기 베이스 레이어가 상기 인핸스트 레이어의 스크린 사이즈 대 상기 베이스 레이어의 스크린 사이즈 비에 의하여 확대된 경우에 상기 매크로블록을 덮는 영역을 갖게 될 블록을 나타낸다. 업-샘플링 (upsampling)을 통하여 상기 인핸스트 레이어의 스크린 사이즈 대 상기 베이스 레이어의 스크린 사이즈의 비로 상기 해당 블록을 확대한 다음, 상기 인트라 베이스 레이어 예측 방법은 상기 베이스 레이어의 상기 해당 블록을 사용한다. 상기 인터레이어 레지듀얼 예측 방법은 상기 인트라 베이스 레이어 예측 방법과 유사하지만, 다음과 같은 점에서 다르다. 즉, 상기 인터레이어 레지듀얼 예측 방법은, 이미지 데이터를 포함하는 베이스 레이어의 해당 블록 보다는 이미지 차이의 데이터인 레지듀얼 데이터를 포함하도록 인코딩된 베이스 레이어의 해당 블록을 사용한다. 상기 인터레이어 레지듀얼 예측 방법은, 레지듀얼 데이터를 포함하도록 인코딩된 상기 베이스 레이어의 해당 블록을 이용하여 이미지 차이의 데이터인 레지듀얼 데이터를 포함하도록 인코딩된 인핸스트 레이어의 매크로블록의 예측 데이터를 생성한다. 상기 인트라 베이스 레이어 예측 방법과 유사하게, 업-샘플링을 통하여 상기 인핸스트 레이어의 스크린 사이즈 대 상기 베이스 레이어의 스크린 사이즈 비로 상기 해당 블록을 확대한 다음, 상기 인터레이어 레지듀얼 예측 방법은 레지듀얼 데이터를 포함하는 상기 베이스 레이어의 상기 해당 블록을 사용한다. 상기 인터레이어 예측 방법에서 사용되는 낮은 해상도를 갖는 베이스 레이어는 비디오 소스를 다운-샘플링(downsampling)하여 생성된다. 다양한 서로 다른 다운-샘플링 기법들과 다운-샘플링 비들(ratios) (즉, 수평 그리고/또는 수직 크기 감소 비들)이 채용될 수 있기 때문에, 동일한 비디오 소스로부터 생산된 인핸스트 및 베이스 레이어들에서의 해당 픽쳐들(프레임들 또는 블록들)은 위상이 다를 수 있다. 도 2는 인핸스트 레이어와 베이스 레이어 사이의 위상 관계를 도시한다. 베이스 레이어는 (i) 인핸스트 레이어로부터 별도로 상대적으로 낮은 공간 해상도에서 비디오 소스를 샘플링 하거나, (ii) 상대적으로 높은 공간 해상도로 인핸스트 레이어를 다운-샘플링하여 생성될 수 있다. 도 2에 도시된 예에 있어서, 상기 인핸스트 레이어와 상기 베이스 레이어 사이의 다운-샘플링 비는 2/3 이다. 비디오 신호는 별도의 성분들, 즉, 하나의 휘도 성분(luma component)과 두 개의 색도 성분들(chroma components)로 관리된다. 상기 휘도 성분은 휘도 정보 Y와 연관이 있고, 상기 두 개의 색도 성분들은 색도 (chrominance) 정보 Cb 및 Cr과 연관된다. 휘도 신호와 색도 신호 사이의 비율(ratio)인 4:2:0 (Y:Cb:Cr)는 널리 사용된다. 상기 색도 신호의 샘플들은 전형적으로 상기 휘도 신호의 샘플들 중간쯤에 위치한다. 인핸스트 레이어 그리고/또는 베이스 레이어가 비디오 소스로부터 직접 생성될 때, 상기 인핸스트 레이어 그리고/또는 베이스 레이어의 휘도 및 색도 신호들은 상기 비율 4:2:0 그리고 상기 비율 4:2:0에 따른 위치 조건(position condition)을 만족하도록 샘플링 된다. 상기 케이스 (i)에 있어서, 상기 인핸스트 레이어와 상기 베이스 레이어는, 도 2의 섹션 (a)에 도시된 바와 같이, 위상이 서로 다를 수(out of phase) 있다. 이는 상기 인핸스트 레이어와 상기 베이스 레이어가 각기 다른 샘플링 위치들을 가질 수 있기 때문이다. 상기 섹션 (a)의 예에 있어서, 상기 인핸스트 레이어와 상기 베이스 레이어 각각의 휘도 및 색도 신호들은 상기 비율 4:2:0와 상기 비율 4:2:0에 따른 위치 조건을 만족한다. 상기 케이스 (ii)에 있어서, 상기 베이스 레이어는 특정 비율에서 상기 인핸스트 레이어의 다운-샘플링 휘도 및 색도 신호에 의하여 생성된다. 만약 상기 베이스 레이어의 휘도 및 색도 신호들이 상기 인핸스트 레이어의 휘도 및 색도 신호들과 같은 위상에 있도록 상기 베이스 레이어가 생성된다면, 상기 베이스 레이어의 상기 휘도 및 색도 신호들은, 도 2의 섹션 (b)에 도시된 바와 같이, 상기 4:2:0 비율에 따른 위치 조건(position condition)을 만족 못한다. 추가로, 만약 상기 베이스 레이어의 휘도 및 색도 신호들이 상기 4:2:0 비율에 따른 위치 조건을 만족하도록 상기 베이스 레이어가 생성된다면, 상기 베이스 레이어의 상기 색도 신호는, 도 2의 섹션 (c)에 도시된 바와 같이, 상기 인핸스트 레이어의 색도 신호와 위상이 서로 다르게 된다. 이러한 경우, 만약 상기 베이스 레이어의 상기 색도 신호가 상기 인터레이어 예측 방법에 따른 특정 비율로 업-샘플된다면, 상기 베이스 레이어의 상기 업-샘플된 색도 신호는 상기 인핸스트 레이어의 색도 신호와 서로 다른 위상을 갖는다. 또한, 케이스 (ii)에 있어서, 상기 인핸스트 레이어와 상기 베이스 레이어는, 섹션 (a)에 도시된 바와 같이, 서로 다른 위상을 가질 수 있다. 즉, 상기 베이스 레이어를 생성하기 위한 상기 다운-샘플링 절차와 상기 인터레이어 예측 방법의 업-샘플링 절차에서, 상기 베이스 레이어의 위상은 변화할 수 있다. 그리하여, 상기 베이스 레이어는 상기 인핸스트 레이어와 서로 다른 위상을 갖게 되고, 결국 코딩 효율을 감소시키게 된다.