동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치 document_id A220623042196

최근에, 음성, 화상 및 다른 화소값이 하나의 미디어로 통합되는 멀티미디어 시대가 도래하여, 신문, 잡지, TV, 라디오 및 전화와 같은 통신 도구로서의 종래의 정보 미디어가 멀티미디어의 대상으로 간주되고 있다. 일반적으로, 멀티미디어는 문자 뿐만 아니라 그래픽, 음성 및 특히 화상을 동시에 표현하는 한 형태이다. 상술한 종래의 정보 미디어를 멀티미디어로서 다루기 위해, 정보를 디지털 방식으로 표시하는 것이 필수 요건이다. 그러나, 디지털 데이터량으로서 상술한 각 정보 매체의 데이터량을 계산할 때, 문자당 데이터량은 1～2바이트인 한편으로, 초당 음성의 데이터량은 적어도 64Kbit(통화 품질)이고 초당 동화상의 데이터량은 적어도 100Mbit(현재의 TV 수신 품질)이기 때문에, 상술한 종래의 정보 미디어를 사용하여 막대한 양의 정보를 디지털 방식으로 직접 처리하는 것은 비현실적이다. 예를 들면, TV 전화는 64kbps～1.5Mbps의 전송 속도를 갖는 통합 서비스 디지털망(ISDN)에 의해 이미 상업적으로 실용화되어 있지만, ISDN을 사용하고 있는 한 TV 카메라의 동화상을 송신하는 것은 불가능하다. 그래서 정보 압축 기술이 필요하게 된다. 예를 들면, TV 전화용으로는 국제 전기통신 연합 전기통신 표준화 부문(International Telecommunication Union-Telecommunication Standardization Sector)(ITU-T)에 의해 권고되는 H.261 또는 H.263의 동화상 압축 기술 표준이 사용된다. 또한, MPEG-1 표준의 정보 압축 기술로, 영상 정보를 음성 정보와 함께 통상의 음악용 CD(컴팩트 디스크)에 저장할 수 있게 된다. 여기에서, 동화상 전문가 그룹(MPEG)은 동화상 신호를 디지털 방식으로 압축하는 국제 표준이고, ISO/IEC(국제 표준화 기구/국제 전기 표준 회의)에 의해 표준화되어 있다. MPEG-1은 동화상 신호를 1.5Mbps까지 압축 즉, TV 신호 정보를 약 1/100까지 압축하는 표준이다. 또한, MPEG-1 표준을 충족시키는 품질은 약 1.5Mbps의 전송 레이트로 실현될 수 있는 중간 레벨이다. MPEG-2는 더 높은 화질에 대한 요구를 충족시키기 위해 표준화된 것이고, 동화상 신호를 2～15Mbps로 압축한다. 현재, MPEG-1 및 MPEG-를 표준화한 작업 그룹(ISO/IEC JTC1/SC29/WG11)은 더 높은 압축률을 갖는 MPEG-4를 표준화하고 있다. MPEG-4 표준은 (ⅰ) MPEG-1 표준 및 MPEG-2 표준보다 높은 압축률을 달성하고, (ⅱ) 대상물 단위로 부호화, 복호화 및 실행 동작을 가능하게 하며, (ⅲ) 현재의 멀티미디어 시대에 필요한 새로운 기능을 실현한다. MPEG-4 표준의 초기 목적은 낮은 비트 레이트를 갖는 화상의 부호화 방법을 표준화하는 것이었지만, 그 목적은 높은 비트 레이트를 갖는 인터레이스 화상의 범용 부호화 방법으로 확장되고 있다. 그 후, ISO/IEC와 ITU-T는 공동으로 높은 압축률을 갖는 화상의 차세대 화상 부호화 방법으로서 MPEG-4 AVC(Advanced Video Coding)를 표준화하고 있다. 이것은 차세대 광 디스크 관련 장치나 이동 전화에 대한 방송에 사용될 것으로 기대된다. 일반적으로, 동화상을 부호화할 때, 정보량은 시간적 및 공간적 용장성(redundancy)을 감소시킴으로써 압축된다. 시간적 용장성을 감소시킬 목적으로 화상간 예측 부호화 시에, 전방 화상 또는 후방 화상을 참조하여 블록 단위로 움직임 추정 및 예측 화상 생성이 행해지고, 얻어진 예측 화상과 부호화될 화상간의 차분값에 대해 부호화가 행해진다. 여기에서, 여기에서 사용되는 "화상"은 하나의 화상을 나타내는 용어이다. 프로그레시브 화상(progressive picture)에서, 화상은 프레임을 의미하지만, 인터레이스 화상(interlace picture)에서 화상은 프레임 또는 필드를 의미한다. 여기에 기재된 "인터레이스 화상"은 경미한 시간 지연이 있는 2개의 필드로 구성된 프레임을 의미한다. 인터레이스 화상의 부호화 및 복호화 처리에서, 프레임을 그대로 처리하거나, 2개의 필드로 처리하거나, 하나의 프레임 내의 각 블록의 프레임 단위로 또는 필드 단위로 처리할 수 있다. 어떠한 참조 화상도 참조하지 않고 화상내 예측 부호화를 실행하는 화상을 내-부호화 화상(I 화상)이라고 한다. 또한, 하나의 화상만을 참조하여 화상간 예측 부호화를 실행하는 화상을 예측 부호화 화상(P 화상)이라고 한다. 또한, 2개의 참조 화상을 동시에 참조하는 화상간 예측 부호화를 실행하는 화상은 양방향 예측 부호화 화상(B 화상)이라고 한다. B 화상은 표시 시간에서의 전방 화상 및 후방 화상의 임의의 조합으로 선택된 2개의 화상을 참조할 수 있다. 그러한 2개의 참조 화상들은 블록 단위로 특정될 수 있고, 블록은 부호화 및 복호화의 기본 단위이다. 그들 참조 화상은, 부호화 비트 스트림 내의 앞서 기재된 참조 화상은 제1 참조 화상이라고 하고, 뒤에 기재된 다른 참조 화상은 제2 참조 화상이라고 하여 서로 구별된다. 그러한 참조 화상은 P 화상 및 B 화상을 부호화 또는 복호화하기 위해 미리 부호화 또는 복호화되어야 한다. 움직임 보상 화상간 예측 부호화는 P 화상 및 B 화상을 부호화하는 데 사용된다. 움직임 보상 화상내 예측 부호화는 움직임 보상이 적용되는 화상내 예측 부호화 방법이다. 움직임 보상은 움직임 벡터를 고려하여 화상의 각 블록의 움직임량(이하 움직임 벡터라고 한다)을 추정함으로써 및 예측 부호화를 실행함으로써 예측 정확도를 향상시키고 데이터량을 감소시키는 방법이다. 예를 들면, 데이터량은, 부호화될 화상의 움직임 벡터를 추정함으로써, 및 각 움직임 벡터의 크기만큼 시프트되는 각 예측값과 부호화될 각 현재 화상 사이의 각 예측 나머지를 부호화함으로써, 감소된다. 이 방법의 경우에, 움직임 벡터 정보가 복호화할 때 필요하기 때문에, 움직임 벡터가 또한 부호화되어, 기록되거나 송신된다. 움직임 벡터는 매크로 블록 단위로 추정된다. 더욱 구체적으로는, 움직임 벡터는, 부호화될 화상의 매크로 블록을 고정하고, 탐색 범위 내에서 참조 화상의 매크로 블록을 이동시키며, 표준 블록에 가장 가까운 참조 블록의 위치를 찾아냄으로써 추정된다. 도 1a 및 도 1b는 각각 종래의 MPEG-2 스트림의 구조도이다. 도 1b에 도시된 바와 같이, MPEG-2 스트림은 후술하는 계층 구조 등을 갖는다. 스트림은 화상의 그룹(이하 GOP라고 한다)으로 구성된다. 부호화 처리에서의 기본 단위로서 GOP의 사용으로 인해, 동화상의 편집이나 랜덤 액세스의 실행이 가능하다. GOP는 I 화상, P 화상 및 B 화상으로 이루어진다. 스트림, GOP 및 화상은 유닛들의 경계를 나타내는 동기 신호(sync) 및 유닛들 내에서의 공통 데이터를 나타내는 헤더를 더 포함하고, 여기에서 유닛들은 각각 스트림, GOP 및 화상이다. 도 2a 및 도 2b는 MPEG-2에 사용되는 화상간 예측 부호화를 어떻게 실행하는지를 나타내는 예들을 각각 도시한다. 도면에서 사선으로 표시된 화상은 다른 화상들에 의해 참조되는 화상들이다. 도 2a에 도시된 바와 같이, MPEG-2에서의 예측 부호화시에, P 화상(P0, P6, P9, P12 및 P15)은 표시 시간에서의 직전 I 화상 또는 P 화상으로 선택된 하나의 화상만을 참조할 수 있다. 또한, B 화상(B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 및 B20)은 직전 I 화상 또는 P 화상과 직후 I 화상 또는 P 화상의 조합으로 선택된 2개의 화상을 참조할 수 있다. 또한, 스트림에 배치되는 화상의 순서가 결정된다. I 화상과 P 화상은 표시 시간의 순서로 배치되고, 각 B 화상은 B 화상 직후에 표시될 I 화상 직후 또는 P 화상 직후에 배치된다. GOP의 구성예로서, 도 2b에 도시된 바와 같이, I3～B14의 화상들은 단일의 GOP로 그룹화된다. 도 3a는 MPEG-4 AVC 시스템의 구조도이다. MPEG-4 AVC에서 GOP에 상당하는 개념은 존재하지 않는다. 그러나, 다른 화상에 의존하지 않고 복호화될 수 있는 특별한 화상에 기초하여 데이터를 분할함으로써 GOP에 상당하는 랜덤하게 액세스 가능한 유닛을 구성하는 것이 가능하기 때문에, 그러한 유닛은 이하 RAU(Random Access Unit)라고 한다. 바꿔 말하면, 랜덤 액세스 유닛(RAU)은 어떠한 화상에도 의존하지 않고 복호화될 수 있는 화상간 부호화 화상으로 시작하는 부호화 화상 그룹이다. 이어서, 스트림을 취급할 때 기본 단위인 액세스 유닛(이하 간단히 AU라고 한다)을 이하 설명한다. AU는 하나의 화상에 상당하는 부호화된 데이터를 저장하는 단위이고, 파라미터 세트(PS), 슬라이스 데이터 등을 포함한다. 두가지 종류의 파라미터 세트(PS)가 존재한다. 그 중 하나는 각 화상의 헤더에 상당하는 데이터인 화상 파라미터 세트(PPS)(간단히 이하 PPS라고 한다)이다. 나머지 하나는 MPEG-2에서 GOP 이상의 단위로 포함되는 헤더에 상당하는 시퀀스 파라미터 세트(SPS)(이하 간단히 SPS라고 한다)이다. SPS는 최대의 수의 참조 화상, 화상 사이즈 등을 포함한다. 반면에, PPS는 가변 길이 부호화 타입, 양자화 단계의 초기값, 참조 화상의 수 등을 포함한다. 각 화상에는 상술한 PPS와 SPS 중 어느 것이 참조되는지를 나타내는 식별자가 할당된다. 또한, 화상을 식별하는 식별 번호인 프레임 번호(FN)이 슬라이스 데이터에 포함된다. 시퀀스는 복호화에 필요한 모든 상태들이 후술하는 바와 같이 리셋되는 특별한 화상에서 시작하고, 시퀀스는 특별한 화상에서 시작하여 이후의 특별한 화상 직전에 배치되는 화상에서 종료하는 화상들의 그룹으로 이루어진다. MPEG-4에서는 2종류의 I 화상이 존재한다. 이들은 IDR(Instantaneous Decoder Refresh)와 그 외이다. IDR 화상은, 복호화 순서에서 IDR 화상 앞에 배치된 화상을 참조하지 않고, 복호화 순서에서 IDR 화상 뒤에 배치된 모든 화상들을 복호화할 수 있는 I 화상이다, 바꿔 말하면, 복호화하는데 필요한 상태들이 리셋되어 있는 I 화상이다. IDR 화상은 MPEG-2 폐쇄형(closed) GOP의 선두 I 화상에 상당한다. MPEG-4 AVC에서의 시퀀스는 IDR 화상에서 시작한다. IDR 화상이 아닌 I 화상의 경우, 복호화 순서에서 I 화상 뒤에 배치되는 화상은 복호화 순서에서 I 화상 앞에 배치되는 화상을 참조할 수 있다. 각각의 화상 타입들은 이후에 정의된다. IDR 화상 및 I 화상은 I 슬라이스들만으로 구성되는 화상들이다. P 화상은 P 슬라이스들과 I 슬라이스들로 구성될 수 있는 화상이다. B 화상은 B 슬라이스들, P 슬라이스들 및 I 슬라이스들로 구성될 수 있는 화상이다. IDR 화상의 슬라이스들은 IDR이 아닌 화상의 슬라이스들이 저장되는 NAL 유닛의 타입과 상이한 타입의 NAL 유닛에 저장된다. 여기에서, NAL 유닛은 부화상 유닛이다. MPEG-4 AVC에서의 AU에는, 복호화하는 데 필요한 데이터 뿐만 아니라 AU의 보조 정보 및 경계 정보가 포함될 수 있다. 그러한 보조 정보는 SEI(Supplemental Enhancement Information)라고 하며, 슬라이스 데이터의 복호화에는 불필요하다. 파라미터 세트(PS), 슬라이스 데이터, SEI와 같은 데이터는 모두 NAL(Network Abstraction Layer) 유닛, 즉 NALU에 저장된다. NAL 유닛은 헤더와 페이로드로 구성된다. 헤더는 저장될 데이터 타입(이하 NAL 유닛 타입이라 한다)을 나타내는 필드를 포함한다. NAL 유닛 타입의 값은 슬라이스나 SEI와 같은 데이터의 타입에 대해 각각 정의된다. 그러한 NAL 유닛 타입의 값을 참조하면 NAL 유닛에 저장될 데이터의 타입을 식별할 수 있다. NAL 유닛의 헤더는 nal_ref_idc라고 하는 필드를 포함한다. nal_ref_idc 필드는 2비트 필드이고 NAL 유닛의 타입에 의존하는 0, 1 또는 그 이상의 값을 취하는 것으로 정의된다. 예를 들면, SPS나 PPS의 NAL 유닛은 1 이상을 취한다. 슬라이스의 NAL 유닛의 경우에는, 다른 슬라이스에 의해 참조될 슬라이스는 1 이상을 취하지만, 참조되지 않는 슬라이스는 0을 취한다. 또한, SEI의 NAL 유닛은 항상 0을 취한다. 하나 이상의 SEI 메시지가 SEI의 NAL 유닛에 저장될 수 있다. SEI 메시지는 헤더와 페이로드로 구성되고, 페이로드에 저장될 정보의 타입은 헤더에 나타나는 SEI 메시지의 타입에 의해 식별된다. AU를 복호화하는 것은 AU에서의 슬라이스 데이터를 복호화하는 것을 의미하고, AU를 표시하는 것은 AU 헤더에서의 슬라이스 데이터의 복호화 결과를 표시하는 것을 의미한다. 여기에서는, NAL 유닛이 NAL 유닛 경계를 식별하기 위한 정보를 포함하지 않으므로, NAL 유닛을 AU로서 저장할 때에 각 NAL 유닛의 선두에 경계 정보를 부가하는 것이 가능하다. MPEG-2 전송 스트림(TS)이나 MPEG-2 프로그램 스트림(PS)에서 MPEG-4 AVC 스트림을 취급할 때, 0x000001의 3바이트로 나타내는 개시 코드 프리픽스(prefix)가 NAL 유닛의 선두에 부가된다. 또한, AU 경계를 나타내는 NAL 유닛이 MPEG-2 TS 또는 PS에서의 AU의 선두에 삽입되어야 하는 것이 정의되며, 그러한 AU는 액세스 유닛 디리미터(Access Unit Delimiter)라고 한다. 종래, 이와 같은 동화상 부호화에 관련된 여러 종류의 기술이 제안된 바 있다(예를 들면, 특허 문헌 1 참조). 특허 문헌 1: 일본 공개 특허 2003-18549호 공보 도 4는 종래의 동화상 부호화 장치의 블록도이다. 동화상 부호화 장치(1)는 입력되는 입력 비디오 신호(Vin)를 압축 부호화를 통해 가변 길이 부호화 스트림의 비트 스트림 등으로 변환함으로써 얻어지는 부호화 스트림(Str)을 출력하는 장치이다. 동화상 부호화 장치는 예측 구조 결정부(PTYPE), 움직임 벡터 추정부(ME), 움직입 보상부(MC), 감산부(Sub), 직교 변환부(T), 양자화부(Q), 역양자화부(IQ), 역직교 변환부(IT), 가산부(Add), 화상 메모리(PicMem), 스위치 및 가변 길이 부호화부(VLC)를 포함한다. 입력 비디오 신호(Vin)는 감산부(Sub)와 움직임 벡터 추정부(ME)로 입력된다. 감산부(Sub)는 입력된 입력 비디오 신호(Vin)와 예측 화상 사이의 차분값을 계산하여, 그 차분값을 직교 변환부에 출력한다. 직교 변환부(T)는 차분값을 주파수 계수로 변환하여, 그 주파수 계수를 양자화부(Q)에 출력한다. 양자화부(Q)는 입력된 주파수 계수에 대해 양자화를 실행하여, 양자화값(Qcoef)을 가변 길이 부호화부에 출력한다. 역양자화부(IQ)는 양자화값(Qcoef)에 대해 역양자화를 실행하여 주파수 계수를 복원하고, 그 주파수 계수를 역직교 변환부(IT)에 출력한다. 역직교 변환부(IT)는 역주파수 변환을 실행하여 주파수 계수를 화소 차분값으로 변환하고, 그 화소 차분값을 가산부(Add)에 출력한다. 가산부(Add)는 화소 차분값을 움직임 보상부(MC)로부터 출력될 예측 화상에 가산하여 복호화된 화상을 생성한다. 스위치(SW)는 복호화된 화상의 저장이 지시될 때 턴 온되어, 복호화된 화상이 화상 메모리(PicMem)에 저장된다. 한편, 입력 비디오 신호(Vin)가 매크로 블록 단위로 입력되는 움직임 벡터 추정부(ME)는 화상 메모리(PciMem)에 저장된 복호화 화상을 탐색하고, 입력 화상 신호에 가장 가까운 화상 영역을 추정하여, 결과적으로 위치를 나타내는 움직임 벡터(MV)를 결정한다. 움직임 벡터 추정은 블록 단위로 실행되고, 블록은 매크로 블록의 분할된 부분이다. 복수의 화상이 동시에 참조 화상으로 사용될 수 있기 때문에, 참조될 화상을 특정하기 위한 참조 번호(상대 인덱스)가 블록 단위로 필요하게 된다. 상대 인덱스로 나타내는 화상 번호를 계산함으로써 참조 화상을 특정하는 것이 가능해지고, 그러한 화상 번호는 화상 메모리(PicMem) 내의 각각의 화상에 할당된다. 움직임 보상부(MC)는 화상 메모리(PicMem)에 저장된 복호화 화상으로부터 예측 화상으로서 최적화된 화상 영역을 선택한다. 예측 구조 결정부(PTYPE)는, 랜덤 액세스 유닛 개시 화상(RAUin)이 현재의 화상에서 랜덤 액세스 유닛(RAU)이 개시하는 것을 나타내는 경우에, 자신의 화상 타입(Ptype)을 사용하여 랜덤하게 액세스 가능한 특별한 화상으로 대상 화상에 대해 화상내 부호화를 실행하도록 움직임 벡터 추정부(ME)와 움직임 보상부(MC)에 지시하고, 화상 타입(Ptype)을 부호화하도록 가변 길이 부호화부(VLC)에 지시한다. 가변 길이 부호화부(VLC)는 양자화값(Qcoef), 상대 인덱스(Index), 화상 타입(Ptype) 및 움직임 벡터(MV)에 대해 가변 길이 부호화를 실행하여, 부호화된 스트림(Str)을 생성한다. 도 5는 종래의 동화상 복호화 장치(2)의 블록도이다. 이러한 동화상 복호화 장치(2)는 가변 길이 복호화부(VLD), 화상 메모리(PicMem), 움직임 보상부(MC), 가산부(Add), 역직교 변환부(IT) 및 역양자부(IQ)를 포함한다. 도면에서, 도 4의 블록도에 도시된 바와 같은 종래의 동화상 부호화 장치 내의 처리부들과 동일한 동작을 실행하는 처리부들에는 동일한 참조 번호가 할당되고, 그 설명을 생략한다. 가변 길이 복호화부(VLD)는 부호화된 스트림(Str)을 복호화하고, 양자화값(Qcoef), 상대 인덱스(Index), 화상 타입(Ptype) 및 움직임 벡터(MV)를 출력한다. 양자화값(Qcoef), 상대 인덱스(Index) 및 움직임 벡터(MV)는 각각 화상 메모리(PciMem), 움직임 보상부(MC) 및 역양자부(IQ)에 입력되고, 그들에 대한 복호화 처리가 실행된다. 그러한 종래 동화상 부호화 장치의 동작은 도 4의 블록도를 사용하여 이미 설명하였다. 랜덤 액세스 유닛(RAU)은 복호화가 랜덤 액세스 유닛 내의 선두 AU에서 시작하여 실행될 수 있는 것을 나타낸다. 그러나, 종래의 MPEG-4 AVC 스트림은 매우 유연한 예측 구조를 허용하기 때문에, 광 디스크나 하드 디스크를 갖는 기억 장치는 가변속 재생이나 역재생 시에 복호화되거나 표시되는 AU를 결정하기 위한 정보를 획득할 수 없다. 도 6a 및 도 6b는 AU의 예측 구조의 예들이다. 여기에서, 각 AU에 화상이 저장된다. 도 6a는 MPEG-2 스트림에 사용되는 AU의 예측 구조이다. 도면에서 사선으로 표시된 화상은 다른 AU에 의해 참조되는 화상이다. MPEG-2에서는, P 화상(P4 및 P7)의 AU는 표시할 때 직전의 I 화상이나 P 화상의 AU로 선택된 하나의 AU만을 참조하여 예측 부호화를 실행할 수 있다. 또한, B 화상(B1, B2, B3, B5 및 B6)의 AU는 표시할 때 직전의 I 화상이나 P 화상 및 직후의 I 화상이나 P 화상의 AU의 조합으로 선택된 2개의 AU만을 참조하여 예측 부호화를 실행할 수 있다. 또한, 스트림에 배치되는 화상의 순서는 이하와 같이 결정된다: 즉, I 화상과 P 화상의 AU는 표시 시간의 순서로 배치되고, B 화상들의 각각의 AU는 I 화상이나 각 B 화상이 AU의 직후에 배치되는 P 화상 중 하나의 AU 직후에 배치된다. 결국, 부호화는 이하의 3가지 방식: 즉 (1) 모든 화상이 복호화되는 방식, (2) I 화상 및 P 화상의 AU만 복호화되어 표시되는 방식, 및 (3) I 화상의 AU만 복호화되어 표시되는 방식으로 실행될 수 있다. 따라서, 아래의 3종류의 재생, 즉 (1) 통상의 재생, (2) 중속 재생, 및 (3) 고속 재생을 이용하여 용이하게 실행될 수 있다. MPEG-4 AVC에서, B 화상의 AU가 B 화상의 AU를 참조하는 예측이 실행될 수 있다. 도 6b는 MPEG-4 AVC 스트림에서의 예측 구조의 일례이고, B 화상(B1 및 B3)의 AU는 B 화상의 AU(B2)를 참조한다. 이 예에서, 아래의 4종류의 복호화 또는 표시, 즉, (1) 모든 화상이 복호화되고, (2) 참조되는 I 화상, P 화상 및 B 화상의 AU만이 복호화되어 표시되며, (3) I 화상 및 P 화상의 AU만 복호화되어 표시되고, (4) I 화상의 AU만 복호화되어 표시되는 것이 실현될 수 있다. 또한, MPEG-4 AVC에서는, P 화상의 AU는 B 화상의 AU를 참조할 수 있다. 도 7에 도시된 바와 같이, P 화상(P7)의 AU는 B 화상(B2)의 AU를 참조할 수 있다. 이 경우에, P 화상(P7)의 AU는 B 화상(B2)의 AU가 복호화된 후에만 복호화될 수 있다. 따라서, 아래의 3종류의 복호화 또는 표시, 즉, (1) 모든 화상이 복호화되고, (2) 참조되는 I 화상, P 화상 및 B 화상의 AU만이 복호화되어 표시되며, (3) I 화상의 AU만 복호화되어 표시되는 것이 실현될 수 있다. 이 방식으로, 여러 가지 예측 구조가 MPEG-4 AVC에서 허용되기 때문에, 슬라이스 데이터의 분석 및 예측 구조의 판정이 AU들간의 참조 관계를 알기 위해 행해져야 한다. 이것은, MPEG-2의 경우에서와 달리, 점프인 재생, 가변속 재생 및 역재생을 실행할 때 재생 속도에 의존하여 결정되는 규칙에 기초하여, 복호화되거나 표시될 AU가 결정될 수 없다는 문제점을 수반한다.