화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램 document_id A220623042023

최근, 오디오, 비디오 및 화소 값들을 통합적으로 다루는 멀티미디어의 시대가 도래해서, 현존하는 정보 매체, 즉, 사람들에게 정보를 전달하는 신문, 잡지, 텔레비젼, 라디오, 전화기 및 다른 수단이 최근 멀티미디어의 범위에 포함되어 오고 있다. 일반적으로, 멀티미디어란 문자뿐만 아니라 그래픽 심볼, 오디오, 특히 화상 등이 서로 관련되어 표현되는 것을 말한다. 그러나, 상기 서술한 현존의 정보 미디어를 멀티미디어의 범위에 포함시키기 위해, 이러한 정보를 디지털 형태로 표현하는 것이 필요 조건으로서 나타난다. 그러나, 각각의 상기 서술된 정보 미디어에 포함된 정보의 양을 디지털 형태로 계산할 때, 문자당 정보의 양은 1～2바이트가 요구되고, 오디오는 초당 64Kbits(전화 품질)가 요구되고, 동화상의 경우 초당 100Mbits(현재 텔레비젼 수신 품질)가 요구된다. 그러므로, 앞에 서술된 정보 미디어가 이러한 거대한 양의 정보를 디지털 형태로 취급하는 것이 현실적이지 않다. 예를 들면, 비디오 폰은 64Kbits/s ～ 1.5Mbits/s의 전송 속도를 갖는 ISDN(Integrated Services Digital Network)을 이용하여 이미 실제 사용중이지만, TV 스크린에 캡쳐된 픽쳐 또는 TV 카메라에 의해 촬영된 것을 ISDN을 통해 직접 전송하는 것이 불가능하다. 그러므로, 정보 압축 기술이 요구되고, 예를 들면 비디오 폰의 경우에, ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)에 의해 국제적으로 표준화된 H.261 및 H.263 표준을 따르는 비디오 압축 기술이 이용된다. MPEC-1 표준에 따르는 정보 압축 기술에 의하면, 픽쳐 정보 뿐 아니라 오디오 정보를 통상의 음악 CD(Compact Disk)에 저장하는 것이 가능하다. 여기서, MPEG(Moving Picture Experts Group)은 동화상 신호의 압축의 국제적인 표준이고, MPEG-1은 비디오 신호를 1.5Mbit/s로 압축하는, 즉, 텔레비젼 신호에 포함된 정보를 대략 100분의 일로 압축하는 표준이다. MPEG-1 표준에서 목표된 품질은 대략 1.5Mbit/s의 주요 전송률을 실현하기 위한 것이고, 그러므로, 더 높은 화상 품질에 대한 요구를 만족하기 위한 표준인 MPEG-2는, 동화상 신호를 2 ～ 15Mbit/s의 전송율로 전송하는 텔레비젼 방송의 품질을 실현한다. 현재의 환경에서, MPEG-1, MPEG-2의 표준을 미리 담당하는 작업 그룹(ISO/IEC JTC1/SC29/WG11)은 MPEG-1/MPEG-2에 의해 얻어진 것보다 높은 압축율을 갖는 표준 MPEG-4를 더 갖추고, 오브젝트 단위로 부호화/복호화 조작을 가능하게 하고, 멀티미디어 시대에 요구되는 새로운 기능을 제공할 수 있다. 우선, MPEG-4의 표준화 처리에서는, 저비트 레이트의 부호화 방법을 지향했지만, 고비트 레이트 부호화 뿐만 아니라 인터레이스 이미지를 다루는 보다 일반적인 부호화를 지원하는 표준으로서 확장되어 오고 있다. 현재, 더 높은 압축률을 제공하는 차세대의 화상 부호화 방법으로서 MPEG-4 AVC 및 ITU-T H.264를 표준화하기 위한 노력이 ISO/IEC 및 ITU-T에 의해 연합으로 행해져 오고 있다. 2002년 8월 시점에서, 차세대의 화상 부호화 방법에 대해서 CD(committee draft)가 발행되었다. 일반적으로, 동화상의 부호화에서, 정보의 양은 시간과 공간의 방향으로 용장성(redundancy)를 줄임으로써 압축된다. 그러므로, 시간적인 용장성을 줄이기 위한 화면간 예측 부호화에서, 움직임 추정 및 예측 화상의 생성이 전방 또는 후방의 픽쳐를 참조하여 블록 단위로 행해지고, 그 다음, 얻어진 예측 이미지와 부호화되는 현재의 픽쳐의 이미지 사이의 차이 값에서 부호화가 실행된다. 여기서, "픽쳐"는 하나의 이미지를 지칭하는 용어이다. 프로그레시브 이미지의 경우, "픽쳐"는 프레임을 의미하고, 인터레이스 이미지의 경우 프레임 또는 필드를 의미한다. 여기서, "인터레이스 이미지"는 캡쳐 시간이 분리된 2개의 필드로 구성된 프레임의 이미지이다. 인터레이스 이미지의 부호화 및 복호화에서, 하나의 프레임을 그대로 다루거나, 2개의 필드로서 다루거나, 또는 프레임 내의 블록마다의 프레임 구조 또는 필드 구조로서 다루는 것이 가능하다. 어떠한 화상도 참조하지 않고 화면내 예측 부호화되는 화상을 I 픽쳐로 칭한다. 단지 하나의 화상을 참조하여 화면내 예측 부호화되는 화상을 P 픽쳐로 칭한다. 그리고, 동시에 2개의 화상을 참조하여 화면내 예측 부호화되는 화상을 B 픽쳐로 칭한다. B 픽쳐는 표시 순서에서 전방/후방 픽쳐가 임의로 결합될 수 있는 2개의 화상을 참조하는 것이 가능하다. 참조 이미지(참조 픽쳐)는 부호화 및 복호화의 기본 단위로서 블록마다 지정될 수 있다. 부호화된 비트스트림에서 앞에 나타낸 참조 픽쳐를 제1 참조 픽쳐로 부르고, 비트스트림에서 뒤에 나타낸 참조 픽쳐를 제2 참조 픽쳐로 부름으로써, 이러한 참조 화소 사이의 구분이 이루어진다.이들 유형의 픽쳐들을 부호화 및 복호화하기 위한 조건으로서, 참조로 사용되는 픽쳐들이 미리 부호화되고 복호화되는 것이 요구된다. P픽쳐 및 B픽쳐는 움직임 보상 화면간 예측을 이용하여 부호화된다. 움직임 보상된 화면간 예측의 사용에 의한 부호화는 화면간 예측 부호화에서 보상된 움직임을 이용하는 부호화 방법이다. 참조 픽쳐의 화소값에 기초하여 간단히 예측을 행하는 방법과 달리, 움직임 추정은 픽쳐 내의 각 부분의 움직임의 양(이후 "움직임 벡터"라고 칭한다)을 추정하고, 또한 이러한 움직임 양을 고려하여 예측을 행함으로써, 데이터의 양을 저감시킬 뿐 아니라 예측의 정확도를 개선할 수 있는 기술이다. 예를 들면, 부호화되는 현재의 픽쳐의 움직임 벡터를 추정하고, 그 다음 각각의 움직임 벡터의 양만을 시프팅하여 얻어진 예측치와 부호화되는 현재의 화상 사이의 예측 잔차를 부호화함으로써 움직임 보상을 통해 데이터의 양을 저감할 수 있다. 이 기술에서, 복호화시에 움직임 벡터 정보가 요구되므로, 움직임 벡터 또한 부호화된 형태로 기록되거나 전송된다. 움직임 벡터는 매크로블록 단위로 추정된다. 더 구체적으로, 매크로블록은 부호화되는 현재 화상에 미리 고정되어 있고, 참조 픽쳐에서 탐색 영역내에 고정된 매크로블록의 가장 유사한 참조 블록의 위치를 찾음으로써 움직임 벡터를 추정하도록 한다. 도 1은 비트스트림의 일 예의 데이터 구조를 나타내는 다이어그램이다. 도 1에 나타낸 것같이, 비트스트림은 다음과 같이 계층 구조를 갖는다. 비트스트림(스트림)은 하나 이상의 GOP(group of picture)로 형성되어 있다. 기본 부호화 단위로서 GOP를 이용하여, 임의로 액세스할 뿐아니라 동화상을 편집하는 것도 가능하게 된다. 각각의 GOP는 복수의 픽쳐로 이루어지고, 각각은 I 픽쳐, P 픽쳐, B 픽쳐중 하나이다. 또한 각 픽쳐는 복수의 슬라이스로 이루어진다. 각 픽쳐내의 스트립형상의 영역인 각 슬라이스는 복수의 매크로블록으로 이루어진다. 또한, 각 스트림, GOP, 픽쳐 및 슬라이스는 각 단위의 엔딩 포인트를 나타내는 동기 신호(sync)와 상기 각 단위에 공통인 데이터인 헤더(header)를 포함한다. 데이터가 스트림 시퀀스인 비트 스트림으로 전송되지 않고, 조각 단위인 패킷등으로 전송되는 경우, 헤더와, 헤더 이외의 부분인 데이터부는 분리되어 전송될 수 있다. 이러한 경우, 도 1에 나타낸 것같이 헤더 및 데이터 부가 동일한 비트 스트림에 조합되지 않는다. 그러나, 패킷의 경우에, 헤더 및 데이터부가 인접하여 송신되지 않을 때에도, 데이터부에 대응하는 헤더가 다른 패킷에서 전송되고 있는 것이다. 그러므로, 헤더 및 데이터 부가 동일한 비트 스트림에 조합되지 않을 때에도, 도 1을 참조하여 서술된 부호화된 비트스트림의 개념은 또한 패킷으로 응용가능하다. 일반적으로, 사람의 시각적 시스템은 고주파수 성분보다 저주파수 성분에 더 민감하다. 또한, 화상 신호에서 저주파수 성분의 에너지가 고주파수 성분 보다 크기 때문에, 화상 부호화가 저주파수 성분으로부터 고주파수 성분까지의 순서로 행해진다. 그 결과, 저주파수 성분의 부호화에 요구되는 비트의 수는 고주파수 성분에 대해서 요구되는 것보다 크다. 상기 사항들을 고려하여, 직교 변환에 의해 각 주파수의 변환계수를 양자화할 때 얻어지는 현재의 부호화 방법은 고주파수 성분에 대해서 저주파수 성분보다 더 큰 양자화 스텝를 사용한다. 이 기술은 종래의 부호화 방법이, 시청자의 입장에서 화상 품질의 손실이 작고, 압축비의 증가가 큰 것을 가능하게 한다. 한편, 저주파수 성분에 대한 고주파수 성분의 양자화 스텝 크기가 화상 신호에 의거하기 때문에, 각 주파수 성분에 대한 양자화 스텝의 크기를 화상 단위로 변화시키기 위한 기술이 종래 사용되어 오고 있다. 각 주파수 성분의 양자화 스텝를 도출하기 위해 양자화 매트릭스가 사용된다. 도 2는 양자화 매트릭스의 일예를 나타낸다. 이 도면에서, 상부 좌측 성분은 DC 성분인 반면, 우측 성분은 수평의 고주파수 성분이고, 하측 성분은 수직의 고주파수 성분이다. 도 2의 양자화 매트릭스는 더 큰 값에 더 큰 양자화 스텝가 적용된다는 것을 나타낸다. 통상, 각 화상에 대해서 다른 양자화 매트릭스를 사용하는 것이 가능하다. 각 주파수 성분의 양자화 스텝의 크기를 나타내는 값은 고정 길이 부호화이다. 양자화 매트릭스의 각 성분 및 각 양자화 스텝의 값은 대략 서로 비례하는 것이 일반적이지만, 그들 사이의 일치가 명백히 규정되어 있지 않는 한, 이러한 관계를 유지하는 것은 필요하지 않다. 도 3은 MPEG-2 및 MPEG-4에서 제시된 것으로 종래의 화상 부호화장치 또는 화상 복호화장치에 의해 실행된 역양자화를 나타내는 플로우챠트이다. 도면에 나타낸 것같이, 종래의 화상 부호화장치 또는 화상 복호화장치는 가중 매트릭스 Wi,j와 양자화 파라미터 QP를 얻고(S11 및 S12), 양자화 스텝 QStep을 계산하여, 양자화값(즉, 양자화 주파수 계수)fi,j를 얻는다(S14). 그 후, 화상 부호화 장치는 fi,j x QStep x Wi,j를 계산하여 역양자화값을 도출한다(S15-S17). 화상 부호화장치에 의해 실행된 양자화의 처리에서, 직교 변환의 결과로서 얻어진 주파수 계수는 QStep x Wi,j의 계산 결과 값의 역수가 승산된다. 그러나, 많은 수의 분할 및 승산이 처리에 있어서 실행되는 것이 요구되므로, 양자화 및 역양자화의 종래의 처리는 계산에 대해서 많은 부하를 준다.