공간적 스케일링 가능한 비디오 인코딩 및 디코딩을 위한슬라이스 적응형 움직임 벡터 코딩을 위한 방법 및 장치 document_id A220623053844

스케일링 가능한 비디오 코딩 구조가 동시방송(simulcast) 인코딩의 비트율 에 불이익(penalty) 발생 없이 상이한 어플리케이션 및 디코더 요구조건을 지원할 수 있는 것이 바람직하다. 움직임 추정 및 보상이 시간적인 리던던시(redundancy)를 제거하도록 적용되는, 많은 기존의 스케일링 가능한 코딩 구조에 대해, 움직임 벡터를 코딩하는데 사용되는 종래 기술의 접근법은 결함을 가진다. 일반적으로, 두 방법, 즉, 비-스케일링 가능한 움직임 벡터 코딩 및 스케일링 가능한 움직임 벡터 코딩은 움직임 벡터를 코딩하는데 사용된다. 비-스케일링 가능한 움직임 벡터 코딩 구조에서, 움직임 벡터는 가장 높은 개선층(enhancement layer)의 정밀도(precision)로 코딩되어 기저층(base layer)에 저장된다. 이후, 하부층에 대해, 움직임 벡터는 다운샘플링될 필요가 있다. 스케일링 가능한 움직임 벡터 코딩 구조에서, 하부층 움직임 벡터의 세분할(refinement)은 코딩된 움직임 벡터가 상부층에 대한 움직임 벡터 정밀도를 나타내도록 각각의 상부층에서 코딩된다. 전체 비트율 코딩 효율에 대해, 비-스케일링 가능한 움직임 벡터 코딩은 스케일링 가능한 움직임 벡터 코딩보다 더 나은 효율을 가진다. 그러나, 비-스케일링 가능한 움직임 벡터 코딩은 움직임 벡터에 대한 모든 비트를 기저층에 둔다. 그러므로, 만약 비트율 스케일링 능력(scalability)이 요구된다면, 비-스케일링 가능한 움직임 벡터 코딩은 기저층의 품질을 손상시킬 수 있다. 비-스케일링 가능한 움직임 벡터 코딩이 하부층에 대한 다운샘플링을 요구하기 때문에, 이 코딩은 기저층이 표준 컴플라이언트(compliant)가 아닌 문제점을 야기할 수 있다. 일부 디코더는 그러한 특징을 지원하지 못할 수 있다. 반면, 만약 비트율 스케일링 능력이 요구조건이 아니라, 대신 방송 비디오 어플리케이션에서와 같은 전체 비트율 코딩 효율 및 복잡도(complexity)라면, 비-스케일링 가능한 움직임 벡터 코딩은 더 나은 코딩 효율을 가질 수 있다. MPEG-2 및 MPEG-4 표준의 스케일링 능력 프로파일에서, SNR 스케일링 능력, 공간적 스케일링 능력, 시간적 스케일링 능력 및 미세 입자(fine grain) 스케일링 능력을 포함하는 스케일링 능력의 많은 상이한 방법은 널리 연구되고, 표준화되었다. 스케일링 가능한 코딩에서의 대부분의 작업은 비트율 스케일링 능력을 목적으로 하는데, 여기서 저해상도 층은 제한된 대역폭을 가진다. 도 1에 도시된 바와 같이, 전형적인 공간적 스케일링 능력 시스템은 일반적으로 참조 번호(100)로 나타난다. 시스템(100)은 비디오 시퀀스를 수신하기 위해 복잡도 스케일링 가능한 비디오 인코더(110)를 포함한다. 복잡도 스케일링 가능한 비디오 인코더(110)의 제 1 출력은 신호 송신으로 낮은 대역폭 네트워크(120) 및 멀티플렉서(130)의 제 1 입력과 연결된다. 복잡도 스케일링 가능한 비디오 인코더(110)의 제 2 출력은 신호 송신으로 멀티플렉서(130)의 제 2 입력과 연결된다. 낮은 대역폭 네트워크(120)의 출력은 신호 송신으로 저해상도 디코더(140)의 입력과 연결된다. 멀티플렉서(130)의 출력은 신호 송신으로 높은 대역폭 네트워크(150)의 입력과 연결된다. 높은 대역폭 네트워크(150)의 출력은 신호 송신으로 디멀티플렉서(160)의 입력과 연결된다. 신호 송신으로 디멀티플렉서(160)의 제 1 출력은 고해상도 디코더(170)의 제 1 입력과 연결되고, 디멀티플렉서(160)의 제 2 출력은 고해상도 디코더(170)의 제 2 입력과 연결된다. 저해상도 디코더(140)의 출력은 기저층 비트스트림에 대한 시스템(100)의 출력으로서 사용가능하며, 고해상도 디코더(170)의 출력은 스케일링 가능한 비트스트림에 대한 시스템(100)의 출력으로서 사용가능하다. 스케일링 가능한 코딩은 인코더 및 디코더 복잡도의 상당한 증가로 인해 실제 광범위하게 채택되지는 않는데, 왜냐하면 스케일링 가능한 인코더의 코딩 효율은 통상적으로 비-스케일링 가능한 인코더의 효율보다 훨씬 낮기 때문이다. 공간적으로 스케일링 가능한 인코더와 디코더는, 통상적으로 고해상도 스케일링 가능한 인코더/디코더가 일반적인 고해상도 인코더/디코더에 존재하는 것보다 추가적인 기능성(functionality)을 제공할 것을 요구한다. MPEG-2 공간적 스케일링 가능한 인코더에서, 예측이 저해상도 기준 화상 혹은 고해상도 기준 화상으로부터 수행되는지의 여부에 대한 결정이 이루어진다. MPEG-2 공간적 스케일링 가능한 인코더는 저해상도 기준 화상 혹은 고해상도 기준 화상 중 하나로부터 예측할 수 있어야 한다. 두 세트의 기준 화상 저장소가 MPEG-2 공간적 스케일링 가능한 인코더/디코더에 의해 요구되는데, 하나는 저해상도 화상에 대한 것이고, 또 하나는 고해상도 화상에 대한 것이다. 도 2는 종래의 기술에 따라 두 층을 지원하는 낮은 복잡도 공간적 스케일링 가능한 인코더(200)에 대한 블록 다이어그램을 도시한다. 도 3은 종래의 기술에 따라 두 층을 지원하는 낮은 복잡도 공간적 스케일링 가능한 디코더(300)에 대한 블록 다이어그램을 도시한다. 도 2에 오면, 두 층을 지원하는 공간적 스케일링 가능한 비디오 인코더는 일반적으로 참조 번호(200)로 나타난다. 상기 비디오 인코더(200)는 고해상도 입력 비디오 시퀀스를 수신하기 위한 다운샘플러(dowmsampler)(210)를 포함한다. 다운샘플러(210)는 신호 송신으로 저해상도 비-스케일링 가능한 인코더(212)와 결합되는데, 이 인코더는 신호 송신으로 차례로 저해상도 프레임 저장소(214)와 결합된다. 저해상도 비-스케일링 가능한 인코더(212)는 저해상도 비트스트림을 출력하고, 신호 송신으로 저해상도 비-스케일링 가능한 디코더(220)과 추가적으로 결합된다. 저해상도 비-스케일링 가능한 디코더(220)는 신호 송신으로 업샘플러(upsampler)(230)와 결합되는데, 이 업샘플러는 신호 송신으로 차례로 스케일링 가능한 고해상도 인코더(240)와 결합된다. 스케일링 가능한 고해상도 인코더(240)는 또한 고해상도 입력 비디오 시퀀스를 수신하며, 신호 송신으로 고해상도 프레임 저장소(250)와 결합되며, 고해상도 스케일링 가능한 비트스트림을 출력한다. 저해상도 비-스케일링 가능한 인코더(212)의 출력 및 스케일링 가능한 고해상도 인코더의 출력은 공간적 스케일링 가능한 비디오 인코더(200)의 출력으로서 사용가능하다. 따라서, 고해상도 입력 비디오 시퀀스는 낮은 복잡도 인코더(200)에 의해 수신되고 저해상도 비디오 시퀀스를 생성하도록 다운샘플링된다. 저해상도 비디오 시퀀스는 비-스케일링 가능한 저해상도 비디오 압축 인코더를 사용하여 인코딩되어 저해상도 비트스트림을 생성한다. 저해상도 비트스트림은 비-스케일링 가능한 저해상도 비디오 압축 디코더를 사용하여 디코딩된다. 이 기능은 인코더의 내부에서 수행될 수 있다. 디코딩된 저해상도 시퀀스는 업샘플링되며, 두 입력중 하나로서 스케일링 가능한 고해상도 인코더에 제공된다. 스케일링 가능한 고해상도 인코더는 고해상도 스케일링 가능한 비트스트림을 생성하기 위해 비디오를 인코딩한다. 도 3으로 오면, 두 층을 지원하는 공간적 스케일링 가능한 비디오 디코더는 일반적으로 참조 번호(300)로 나타난다. 비디오 디코더(300)는 저해상도 비트스트림을 수신하기 위해 저해상도 디코더(360)을 포함하는데, 이 디코더는 신호 송신으로 저해상도 프레임 저장소(362)와 결합되고, 저해상도 비디오 시퀀스를 출력한다. 저해상도 디코더(360)는 신호 송신으로 업샘플러(370)과 추가로 결합되는데, 이 업샘플러는 신호 송신으로 스케일링 가능한 고해상도 디코더(380)와 차례로 결합된다. 스케일링 가능한 고해상도 디코더(380)는 신호 송신으로 고해상도 프레임 저장소(390)와 추가로 결합된다. 스케일링 가능한 고해상도 디코더(380)는 고해상도 스케일링 가능한 비트스트림을 수신하고, 고해상도 비디오 시퀀스를 출력한다. 저해상도 디코더(360)의 출력과 스케일링 가능한 고해상도 디코더의 출력은 공간적 스케일링 가능한 디코더(300)의 출력으로서 사용가능하다. 따라서, 고해상도 스케일링 가능한 비트스트림과 저해상도 비트스트림 둘 다 낮은 복잡도 디코더(300)에 의해 수신된다. 저해상도 비트스트림은 비-스케일링 가능한 저해상도 비디오 압축 디코더를 사용하여 디코딩되는데, 이 디코더는 저해상도 프레임 저장소를 사용한다. 디코딩된 저해상도 비디오는 업샘플링되며, 이후 고해상도 스케일링 가능한 디코더로 입력된다. 고해상도 스케일링 가능한 디코더는 고해상도 프레임 저장소 세트를 사용하며, 고해상도 출력 비디오 시퀀스를 생성한다. 도 4로 오면, 비-스케일링 가능한 비디오 인코더는 일반적으로 참조 번호(400)로 나타난다. 비디오 인코더(400)로의 입력은 신호 송신으로 합산점(summing junction)의 비반전 입력과 연결된다. 합산점(410)의 출력은 신호 송신으로 변환기/양자화기(420)와 연결된다. 변환기/양자화기(420)의 출력은 신호 송신으로 엔트로피 코더(440)와 연결된다. 엔트로피 코더(440)의 출력은 인코더(400)의 출력으로서 사용가능하다. 변환기/양자화기(420)의 출력은 신호 송신으로 역 변환기/양자화기(450)와 추가로 연결된다. 역 변환기/양자화기(450)의 출력은 디블록(deblock) 필터(460)의 입력과 연결된다. 디블록 필터(460)의 출력은 신호 송신으로 기준 화상 저장소(470)와 연결된다. 기준 화상 저장소(470)의 제 1 출력은 신호 송신으로 움직임 추정기(480)의 제 1 입력과 연결된다. 인코더(400)로의 입력은 신호 송신으로 움직임 추정기(480)의 제 2 입력과 더 연결된다. 움직임 추정기(480)의 출력은 신호 송신으로 움직임 보상기(490)의 제 1 입력과 연결된다. 기준 화상 저장소(470)의 제 2 출력은 신호 송신으로 움직임 보상기(490)의 제 2 입력과 연결된다. 움직임 보상기(490)의 출력은 신호 송신으로 합산점(410)의 반전 입력과 연결된다. 도 5로 오면, 비-스케일링 가능한 비디오 디코더는 일반적으로 참조 번호(500)로 나타난다. 비디오 디코더(500)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(510)를 포함한다. 엔트로피 디코더(510)의 제 1 출력은 신호 송신으로 역 양자화기/변환기(520)의 입력과 연결된다. 역 양자화기/변환기(520)의 출력은 신호 송신으로 합산점(540)의 제 1 입력과 연결된다. 합산점(540)의 출력은 신호 송신으로 디블록 필터(590)과 연결된다. 디블록 필터(590)의 출력은 신호 송신으로 기준 화상 저장소(550)와 연결된다. 기준 화상 저장소(550)는 움직임 보상기(560)의 제 1 입력과 연결된다. 움직임 보상기(560)의 출력은 신호 송신으로 합산점(540)의 제 2 입력과 연결된다. 엔트로피 디코더(510)의 제 2 출력은 신호 송신으로 움직임 보상기(560)의 제 2 입력과 연결된다. 디블록 필터(590)의 출력은 비디오 디코더(500)의 출력으로서 사용가능하다. H.264/MPEG AVC가 감소된 해상도 갱신Reduced Resolution Update(RRU) 모드를 사용하기 위해 확장되어야 하는 점이 제안되었다. RRU 모드는 전 해상도(full resolution) 화상의 움직임 추정 및 보상을 수행하는 동안, 코딩될 나머지(residual) 매크로블록(MBs)의 수를 감소시킴으로써, 낮은 비트율에서 코딩 효율을 개선한다. 도 6에 오면, 감소된 해상도 갱신(RRU) 비디오 인코더는 일반적으로 참조 번호(600)로 나타난다. 비디오 인코더(600)로의 입력은 신호 송신으로 합산점(610)의 비반전 입력과 연결된다. 합산점(610)의 출력은 신호 송신으로 다운샘플러(612)의 입력과 연결된다. 변환기/양자화기(620)의 입력은 신호 송신으로 다운샘플러(612)의 출력 혹은 합산점(610)의 출력과 연결된다. 변환기/양자화기(620)의 출력은 신호 송신으로 엔트로피 코더(640)와 연결된다. 엔트로피 코더(640)의 출력은 비디오 인코더(600)의 출력으로서 사용가능하다. 변환기/양자화기(620)의 출력은 신호 송신으로 역 변환기/양자화기(650)의 입력과 추가로 연결된다. 역 변환기/양자화기(650)의 출력은 신호 송신으로 업샘플러(655)의 입력과 연결된다. 디블록 필터(660)의 입력은 신호 송신으로 역 변환기/양자화기(650)의 출력 또는 업샘플러(655)의 출력과 연결된다. 디블록 필터(660)의 출력은 신호 송신으로 기준 화상 저장소(670)의 입력과 연결된다. 기준 화상 저장소(670)의 제 1 출력은 신호 송신으로 움직임 추정기(680)의 제 1 입력과 연결된다. 인코더(600)로의 입력은 신호 송신으로 움직임 추정기(680)의 제 2 입력과 연결된다. 움직임 추정기(680)의 출력은 신호 송신으로 움직임 보상기(690)의 제 1 입력과 연결된다. 기준 화상 저장소(670)의 제 2 출력은 신호 송신으로 움직임 보상기(690)의 제 2 입력과 연결된다. 움직임 보상기(690)의 출력은 신호 송신으로 합산점(610)의 반전 입력과 연결된다. 도 7에 오면, 감소된 해상도 갱신(RRU) 비디오 디코더는 일반적으로 참조 번호(700)으로 나타난다. 비디오 디코더(700)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(710)를 포함한다. 엔트로피 디코더(710)의 출력은 신호 송신으로 역 양자화기/변환기(720)의 입력과 연결된다. 역 양자화기/변환기(720)의 출력은 신호 송신으로 업샘플러(722)의 입력과 연결된다. 업샘플러(722)의 출력은 신호 송신으로 합산점(740)의 제 1 입력과 연결된다. 합산점(740)의 출력은 신호 송신으로 디블록 필터(790)와 연결된다. 디블록 필터(790)의 출력은 신호 송신으로 전 해상도(full resolution) 기준 화상 저장소(750)의 입력과 연결된다. 디블록 필터(790)의 출력은 또한 비디오 디코더(700)의 출력으로서 사용가능하다. 전 해상도 기준 화상 저장소(750)의 출력은 신호 송신으로 움직임 보상기(760)와 연결되는데, 이 움직임 보상기는 신호 송신으로 합산점(740)의 제 2 입력과 연결된다. 복잡도 스케일링 가능한 코덱을 설계하기 위해 RRU 개념을 사용하는 것이 제안되었다. 일 예로 디코더 복잡도 및 해상도의 상이한 두 레벨을 지원하는 시스템이 제공된다. 저해상도 디코더는 더 작은 디스플레이 크기를 가지며, 매우 엄격한 디코더 복잡도 제약을 가진다. 전 해상도 디코더는 더 큰 디스플레이 크기를 가지며, 덜 엄격하지만 여전히 중요한 디코더 복잡도 제약을 가진다. 방송 또는 다중방송 시스템은 두 비트 스트림을 즉, BRbase의 비트율을 가지는 기저층, 및 BRenhan의 비트율을 가지는 개선층으로 송신한다. 상기 두 비트 스트림은 함께 멀티플렉싱되거나 단일 전송 스트림으로 송신된다. 도 8에 오면, 복잡도 스케일링 능력 방송 시스템은 일반적으로 참조 번호(800)로 나타난다. 시스템(800)은 복잡도 스케일링 가능한 비디오 인코더와 저해상도 디코더와 전 해상도 디코더를 포함한다. 복잡도 스케일링 능력 방송 시스템(800)은 복잡도 스케일링 가능한 비디오 인코더(810)를 포함한다. 복잡도 스케일링 가능한 비디오 인코더(810)의 제 1 출력은 신호 송신으로 멀티플렉서(820)의 제 1 입력과 연결된다. 복잡도 스케일링 가능한 비디오 인코더(810)의 제 2 출력은 신호 송신으로 멀티플렉서(820)의 제 2 입력과 연결된다. 멀티플렉서(820)의 출력은 신호 송신으로 네트워크(830)와 연결된다. 네트워크(830)의 출력은 신호 송신으로 제 1 디멀티플렉서(840)의 입력 및 제 2 디멀티플렉서(860)의 입력과 연결된다. 제 1 디멀티플렉서(840)의 출력은 신호 송신으로 저해상도 디코더(850)의 입력과 연결된다. 제 2 디멀티플렉서(860)의 제 1 출력은 신호 송신으로 전 해상도 디코더(870)의 제 1 입력과 연결된다. 제 2 디멀티플렉서(860)의 제 2 출력은 신호 송신으로 전 해상도 디코더(870)의 제 2 입력과 연결된다. 저해상도 디코더(850)의 출력은 기저층 비트스트림에 대한 시스템(800)의 출력으로서 사용가능하고, 전 해상도 디코더(870)의 출력은 스케일링 가능한 비트스트림에 대한 시스템(800)의 출력으로서 사용가능하다. 저해상도 디코더(850)는 기저층 비트스트림만을 처리하고, 전해상도 디코더(870)는 기저층 비트스트림 및 개선층 비트스트림 둘 다를 처리한다. RRU는 기저층에서 사용되는데, 이 기저층은 디코더에서 상이한 복잡도를 가지는 저해상도 및 고해상도 시퀀스 둘 다로 디코딩 될 수 있다. 개선층 비트스트림은 기저층 비트스트림을 디코딩한 결과에 추가될 전 해상도 에러 신호를 포함하는데, 이는 전 해상도 움직임 보상으로써 수행되었다. 개선층의 비트율은 기저층의 비트율보다 더 낮게 끝날 수 있는데, 이는 기저층 비트율이 개선층 비트율과 비교되어 통상적으로 작은 전형적인 공간적 스케일링 가능한 경우와는 상이하다. 전 해상도 에러 신호는 모든 코딩된 매크로블록 혹은 슬라이스/화상에 반드시 송신되지는 않는다.