멀티미디어 데이터의 처리 방법 및 그 장치 document_id A220623055490

오늘날 네트워크 및 전자 기술의 발전으로 다양한 멀티미디어 서비스가 개발되어 사용자들에게 제공되고 있다. 예컨대 와이브로(WiBro/Wireless Broadband Internet)와 같은 휴대 인터넷을 통한 멀티미디어 데이터 서비스 또는 DMB(Digital multimedia Broadcasting)와 같은 멀티미디어 방송 서비스에 가입하는 가입자들이 증가하고 있으며, 이러한, 멀티미디어 서비스에 가입하는 가입자들은 높은 서비스 품질의 서비스를 요구하고 있으므로, 멀티미디어 데이터, 즉 영상(video)을 효율적으로 압축하여, 전송 매체(네트워크)의 부하를 최소화하면서 우수한 품질 제공할 수 있는 압축 기법에 대한 연구가 필요하다. 영상 압축 기법 중에서 대표적인 MPEG(Moving Picture Expert Group) 기법은 동화상 및 오디오의 압축 저장 및 전송을 비롯하여 압축된 정보의 복원 처리 및 부호화 표현 방법에 대한 국제 표준안이다. MPEG 기법은 MPEG-1, MPEG-2, MPEG-4가 있으며, 멀티미디어 데이터의 처리에 기본이 되는 MPEG-1(ISO/CEI 11172)은 중복된 정보를 제거/변환시키고, 멀티미디어 데이터의 통계적 특성을 적용하여 동영상 데이터를 압축하는 것이다. 이러한 MPEG에서는 공간적인 중복성을 제거하기 위한 수단으로 이산 여현 변환(Discrete Cosine Transform: DCT)과 양자화(Quantization)를 사용하고, 시간적 중복성을 제거하기 위해 DPCM(Differential Pulse Code Modulation)을 사용하고 있으며, 추가적으로 런 랭스 부호화(Run Length Coding) 및 허프만 부호화(Huffmann Coding)로 이루어지는 엔트로피 부호화(entropy encoding)를 사용하고 있다. 즉, 공간 예측(spatial prediction)으로 DCT(discrete cosine transform) 블록을 기반으로 하는 구조로서 이미지에서 인접한 픽셀간의 공간적 중복성(spatial redundancy)에 의존하고, 각 이미지는 16x16 픽셀(마이크로 블록 : macro-block)로 나뉘어진다. 마크로로 블록은 4개의 8x8 블록으로 구성되며, 이미지는 YUV로 변환되는데, Y는 휘도(luminance) 또는 명암(intensity)이고, UV는 색차(chrominance)이다. DCT는 휘도 블록과 색차 블록에 적용되고, 양자화(Quantizer)가 DCT 계수(coefficient)에 적용되므로, 양자화 과정에서 압축 알고리즘의 손실 특성이 발생한다. 압축은 양자화 과정 이후에 남은 계수에 대해서 허프만 부호화(Huffman coding)를 수행하여 이루어진다. MPEG 기법의 비디오 코딩 모델에서 영상은 일련의 GOP로 구성되어 있으며 각 GOP는 I,P, B 프레임들로 구성된다. 이들 프레임은 각각 I-frame(Intra frame), P-frame(forward-predicted frame), B-frame(bi-directional predicted frame)이다. P-frame에서는 인코딩될 프레임에서 픽셀 블록(목적 블록)이 이전 I-frame이나 P-frame에서(참조 블록)의 동일한 크기의 블록에 일치(match)되며, 목적 블록과 가장 근사하게 일치되는 참조 프레임의 블록(최적 매칭 블록)이 이후의 프레임을 예측하는데 사용된다. 최적 매칭 블록은 해당 블록과 목적 블록간의 위치를 기술하는 모션 벡터(motion vector)와 연관되며, 모션 벡터는 예측 오차(prediction error)를 따라 인코딩되고, 예측 오차는 DCT를 기반으로 하는 intra frame 인코딩 기술을 통해 인코딩된다. B-frame은 두개의 참조 프레임을 사용하며, 양방향 예측을 위해 제1 참조 프레임은 이전으로 제2 참조 프레임은 이후로 인코딩된다. 이러한 프레임의 블록은 과거의 참조 프레임(forward frame) 또는 미래의 참조 프레임(backward prediction)로부터의 다른 블록 또는 두 블록의 평균에 의해 예측될 수 있으며, B-frame 자체로 참조 프레임으로 사용되지는 않는다. 그리고, MPEG-비디오 입력 데이터는 8X8 Y, Cb, Cr 블록으로, 각각의 8x8 Y,Cb,Cr 블록에 DCT 과정, 양자화 과정 및 허프만 부호화 과정을 처리하게 된다. 이러한 양자화 과정 이후에는 많은 DCT 계수가 0이 된다. 도 1은 일반적인 양자화 과정을 설명하기 위한 도면으로, 도 1에 도시된 바와 같이, 양자화 출력은 지그-재그(zig-zag) 순서에 따라 (DC, AC1, AC2 , ㅇ‥ , AC63)의 형태의 벡터가 되며, DC 계수는 해당 블록에서의 평균 밝기를 의미하고, AC 계수는 해당 블록의 세부적인 이미지 정보를 포함한다. 그리고, 벡터는 런 랭스 부호화 과정에서 일련의 표현 값인 (skip, value)으로 변환되고, 허프만 부호화 과정을 통해 (skip, value)가 압축된 비트 스트림(멀티미디어 데이터)으로 변환되어 전송된다. 기존의 MPEG 압축 기법을 이용하여 멀티미디어 데이터를 암호화하는 방식으로는, MPEG 비디오 데이터에서 I-프레임만을 선택적으로 암호화(encryption)함에 의해 암호화/해독화하는 데이터의 양을 줄이는 방식이 제안되었으며, 이러한 암호화 방식은 I-프레임이 기본 데이터 정보를 가지고 있기 때문에 악의적으로 데이터를 수신하는 사람이 I-프레임의 정보를 가지지 못하면, P-프레임과 B-프레임의 정보를 가지더라도 영상 데이터를 복원할 수 없다는 특성을 이용하는 것이나, 멀티미디어 데이터의 인코딩 및 디코딩 과정에서의 매우 큰 오버헤드가 발생한다. 즉, 멀티미디어 데이터의 특정 프레임만을 암호화하는 암호화 기법은 데이터를 전송하는 전송측에서의 인코딩 과정과 수신측에서의 디코딩 과정에서 많은 오버 헤드가 발생하게 된다. 한편, 소정의 암호화 키를 이용하여 멀티미디어 데이터를 변환하는 압축 기법이 제안되었으며, 이는 AC 계수의 런 랭스 부호화 과정에서 라이트 시프트(right shit) 연산통해 원본 이미지의 압축 효과를 가지지만, 암호화된 이미지의 복호화할 때, 원본 이미지의 화질이 저하되는 손실의 문제점를 가진다. 즉, AC 계수를 편이시켜 압축하는 방식은 압축된 영상 이미지를 수신측에서 복호하면, 편이된 AC 계수로 인해 이미지의 화질이 저하되게 된다. 따라서, 복호화시에 이미지의 화질이 저하되지 않으면서 높은 압축율을 가지는 멀티미디어 데이터의 처리 기법에 대한 연구가 필요하다. 한편, VOD(video-on-demand), Internet TV 또는 전자 상거래 등과 같이 네트워크의 멀티미디어 데이터가 증가함에 의해 멀티미디어 데이터의 보안이 주요한 분야로 재기되고 있으며, 데이터의 암호화에 대한 연구는 대부분 텍스트 데이터에 대한 암호화 기법에 치중하고 있으므로, 멀티미디어 데이터의 보안에 대한 암호화 기법에 대한 개발이 필요하다.