이미지 또는 비디오를 코딩/디코딩하는 방법 및 매체 document_id A220623041440

디지털 비디오는 매우 많은 양의 저장 및 전송 용량을 소비한다. 일반적인 미가공 디지털 비디오 시퀀스는 15 또는 30 fps(frames per second)를 포함한다. 각각의 프레임은 수만 또는 수십만 개의 픽셀(펠이라고도 불림)을 포함할 수 있다. 각각의 픽셀은 픽처의 매우 작은 엘리먼트를 나타낸다. 미가공 형태에서, 컴퓨터는 주로, 총 24비트인 3개의 샘플의 집합으로서 픽셀을 나타낸다. 예를 들어, 픽셀은 픽셀의 계조(grayscale) 성분을 정의하는 8비트의 휘도(luminance) 샘플(루마 샘플이라고도 불림), 및 픽셀의 컬러 성분을 정의하는 2개의 8비트 색도(chrominance) 샘플 값(크로마 샘플이라고도 불림)을 포함할 수 있다. 따라서, 일반적인 미가공 디지털 비디오 시퀀스의 bps(bits per second) 또는 비트 레이트의 수는 5백만 bps 이상일 수 있다. 다수의 컴퓨터 및 컴퓨터 네트워크는 미가공 디지털 비디오를 프로세싱할 자원이 부족하다. 이러한 이유로, 엔지니어들은 압축(코딩 또는 인코딩이라고도 불림)을 이용하여 디지털 비디오의 비트 레이트를 감소시킨다. 압축은 비디오를 더 낮은 비트 레이트 형태로 변환함으로써 비디오를 저장하고 전송하는 비용을 감소시킨다. 압축해제(디코딩이라고도 불림)는 압축된 형태로부터 원래의 비디오 버전을 재구성한다. "코덱"은 인코더/디코더 시스템이다. 압축은 손실이 없을 수 있고, 이 때, 비디오의 품질은 손상되지 않지만, 비디오 데이터의 고유한 가변성의 양(때때로, 엔트로피라고 불림)에 의해 비트 레이트의 감소량이 제한된다. 다르게, 압축은 손실이 있을 수 있고, 이 때, 비디오의 품질은 손상되지만, 비트 레이트의 성취가능한 감소량은 더 크다. 손실 압축은 종종, 손실 압축이 정보의 근사치를 설정하고 무손실 압축 기술은 그 근사치를 나타내는 데 적용되는 시스템 설계에서, 무손실 압축과 함께 사용된다. 일반적으로, 비디오 압축 기술은 "인트라-픽처" 압축 및 "인터-픽처" 압축을 포함하는데, 픽처는 예를 들어, 순차 주사된 비디오 프레임, (비디오 필드에 대해 교대하는 라인들을 갖는) 인터레이스(interlace)된 비디오 프레임, 또는 인터레이스된 비디오 필드이다. 순차 프레임에 대해, 인트라-픽처 압축 기술은 개별 프레임(일반적으로, I-프레임 또는 키 프레임이라고 불림)을 압축하고, 인터-픽처 압축 기술은 이전 및/또는 다음의 프레임(일반적으로 참조 또는 앵커 프레임이라고 불림)을 참조하여 프레임(일반적으로, 예측된 프레임, P-프레임 또는 B-프레임이라고 불림)을 압축한다. 예측된 프레임은 매크로블럭이라고 불리는 구역(region)들로 나뉘어질 수 있다. 특정 매크로블럭에 대한 기준 프레임 내의 매칭되는 구역은 매크로블럭에 관한 움직임 벡터(motion vector) 정보를 송신함으로써 지정된다. 움직임 벡터는 현재의 매크로블럭 내의 픽셀에 대한 예측자(predictor)로서 픽셀이 사용되는 기준 프레임 내의 구역의 위치를 나타낸다. 현재의 매크로블럭(또는 그것의 블럭)과 매크로블럭 예측자 간의 픽셀별 차이(종종, 에러 시그널 또는 레지듀얼라고 불림)가 도출된다. 이 에러 시그널은 보통, 원래의 시그널보다 더 낮은 엔트로피를 갖는다. 따라서, 정보는 더 낮은 레이트로 인코딩될 수 있다. 인코더는, 예측자로서 사용할 하나 이상의 기준 프레임 내의 매칭되는 구역을 검색함으로써 프레임의 구역에 대한 움직임 벡터를 결정함으로써 움직임 측정을 수행한다. 인코더 또는 디코더는 하나 이상의 기준 프레임에서 예측자를 찾는 데 움직임 벡터를 적용함으로써 움직임 보상을 수행한다. 매크로블럭에 대한 움직임 벡터 값은 종종, 공간적으로 둘러싸는 매크로블럭에 대한 움직임 벡터와 상호관련된다. 따라서, 움직임 벡터 정보를 전송하는 데 사용되는 데이터의 압축은 움직임 벡터와, 이웃하는 움직임 벡터로부터 형성된 움직임 벡터 예측자 간의 차이를 코딩함으로써 성취될 수 있다. 종종, 비디오 압축 기술에서, 픽셀, 또는 레지듀얼(residual)과 같은 다른 공간 영역 비디오 데이터의 블럭은, 주로 주파수 영역(즉, 스펙트럼) 데이터인 변환 영역 데이터로 변환된다. 결과로서 생긴 스펙트럼 데이터 계수의 블럭은 양자화될 수 있고, 그 후, 엔트로피 인코딩될 수 있다. 결과로서 생긴 비디오가 디스플레이되기 전에 데이터가 압축해제될 때, 디코더는 일반적으로, 압축 동작의 역을 수행한다. 예를 들어, 디코더는 데이터를 압축해제하는 동안 엔트로피 디코딩, 역 양자화 및 역 변환을 수행할 수 있다. 움직임 보상이 사용될 때, 디코더(및 인코더)는 이전에 재구성된 하나 이상의 프레임(이제, 기준 프레임으로서 사용됨)들로부터 한 프레임을 재구성하고, 새로 재구성된 프레임은 나중의 프레임에 대한 움직임 보상을 위해 기준 프레임으로서 사용될 수 있다. 디지털 방식으로 코딩된 비디오에 대한 다수의 일반적인 사용 시나리오는 코딩된 비디오를 장치들 사이에서, 및 자주 지리적으로 먼 위치들 사이에서 전송하는 것에 관련된다. 또한, 다수의 흔히 사용되는 데이터 전송 시스템은 패킷-기반의 전송 프로토콜을 사용하는데, 여기서, 데이터 전송은 "패킷"이라고 불리는 따로 라우팅되는 유닛들로 나뉘어진다. 디지털 비디오를 전달하는 이러한 다양한 전송 시스템은 종종 노이즈 및 다른 전송 에러의 소스의 영향을 받기 쉽고, "패킷 손실"을 경험할 수 있다. 그러한 에러 및 패킷 손실은 각각의 프레임, 또는 비디오 시퀀스의 복수의 관련 프레임들을 디코딩하는 데 실패를 유도할 수 있다. 따라서, 비디오 시퀀스 내의 픽처의 부분적인 구역을 독립적으로 디코딩가능한 유닛으로서 인코딩하는 것이 바람직할 수 있다. 이것은 비디오 스트림의 패킷화를 가능하게 한다. 또한, 이것은 압축된 비디오 비트스트림에 전송 에러 및 패킷 손실에 대한 탄력성(resilience)을 증가시키는 추가적 리던던시(redundancy)를 도입한다. 예를 들어, 전송 에러 또는 손실된 패킷으로부터의 디코딩 손실은 비디오 시퀀스의 전체 픽처 대신에, 부분적인 구역으로 제한될 수 있다. 그러나, 이 탄력성은 압축 효율을 희생하여 성취된 것이다. 수많은 회사가 비디오 코덱을 생성하였다. 예를 들어, 마이크로소프트사는 윈도우즈 미디어 비디오 8 용으로 배포된 비디오 인코더 및 디코더를 생성하였다. 이들 제품과는 별도로, 다수의 국제 표준은 비디오 디코더의 양태 및 압축된 비디오 정보에 대한 포맷을 지정한다. 이들 표준은 H.261, MPEG-1, H.262, H.263 및 MPEG-4 표준을 포함한다. 직접적으로 또는 함축적으로 이들 표준은 특정 인코더 상세사항도 지정하지만, 다른 인코더 상세사항은 지정되지 않는다. 이들 제품 및 표준은 상술된 압축 및 압축해제 기술들의 여러 결합들을 이용한다(또는 그것의 이용을 지원한다). 특히, 이들 제품 및 표준은 부분적인 픽처 유닛 코딩에 대한 다양한 기술을 제공한다. 하나의 그러한 기술은 비디오 시퀀스 내의 프레임을 슬라이스들로 나눈다. 슬라이스는 원래의 왼쪽에서 오른쪽으로의 순서로 매크로블럭의 하나 이상의 인접한 로우들을 포함하도록 정의된다. 슬라이스는 로우의 첫번째 매크로블럭에서 시작하여 동일하거나 다른 로우의 마지막 매크로블럭에서 끝난다. 다양한 표준들, 예를 들어, MPEG-1, MPEG-2, H.263(GOB가 슬라이스와 대략 동등하거나, Annex K 슬라이스가 코딩 모드로 구성됨), MPEG-4 part 2 및 H.264/JVT/MPEG-4 part 10 모두는 자신의 신택스의 일부분으로서 슬라이스를 갖는다. 이들 중, 그들 모두는 에러/손실에의 강건성을 보장하기 위해, 인트라 예측 및 움직임 벡터 예측, 및 슬라이스 경계에 걸친 대부분의 다른 형태의 예측을 불가능하게 한다. 이들 중, H.263(Annex J) 및 H.264/JVT 만이 루프 필터를 포함한다. 인터레이스의 H.263 핸들링은 다소 구식이다(필드 코딩은 Annex W 추가 개정안만을 이용함). H.264는 에러에 더 강한(error-robust) 헤더 구조를 가지며, 인코더가 슬라이스 경계에 걸쳐 루프 필터링을 적용할지를 선택하게 한다. 이들 다양한 비디오 디코딩 표준들로 슬라이스를 구현하는 것은 각각 탄력성과 코딩 효율성 간의 서로 다른 균형을 잡는다.