동영상 프레임의 선택적 오류 은폐 방법 및 장치 document_id A220623049677

일반적으로 국제적인 표준으로 제정된 H.263, H.264, MPEG-4와 같은 대부분의 동영상 부호화 기술은 가변 길이 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측(spatial and motion prediction) 등의 효율적인 영상 압축 기법을 사용하고 있다. 그런데, 가변 길이 부호화 기술은 잡음이 있는 채널 환경에 매우 취약하여 소수의 비트 오류에 의해서도 영상 디코딩 도중에 동기를 잃어버리게 하는 원인을 제공하며, 또한 예측 부호화 기술은 전체 영상을 통해 오류가 전파되게 만든다. 이로 인해 채널 전송, 저장 매체 기록 또는 읽기 중에 발생하는 오류는 복원된 영상의 화질 저하에 많은 영향을 끼치게 된다. 이와 같은 피할 수 없는 전송 오류에 효과적으로 대응하기 위하여 오류에 강인한 부호화 기법들에 대한 연구와 더불어, 전송 환경에서 발생하는 오류에 의한 피해를 최소화하기 위한 기법으로 오류 은폐(EC: Error Concealment) 기법이 연구되어 왔다. 다양한 EC 기법 중 널리 이용되는 기법은 복호기가 EC의 역할을 담당하는 후처리 기법으로 자연 이미지의 경우 공간적 또는 시간적으로 인접한 픽셀(pixel)들은 부드럽게 변화한다는 특성을 이용하여 오류 정보를 복원하는 기법이다. 이때 오류 블록과 이웃한 블록의 픽셀 값 또는 움직임 벡터(MV: Motion Vector)를 이용하여 오류 블록을 화소 단위 또는 매크로 블록 단위로 복원하게 된다. 도 1은 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 1을 참조하면, 오류가 발생한 프레임(Fk) 이후에 전송되는 프레임은, 이전 프레임과의 상관관계를 이용한 압축 방식 때문에 이전 프레임의 오류가 전파되는 형태를 보여준다. 따라서 오류 프레임은 Fk 이지만 이후에 전송된 Fk+1 , Fk+2 프레임에도 Fk 프레임의 오류의 영향이 전달되어 실제 영상을 확인하는 것이 거의 불가능하게 된다. 최근 활성화되고 있는 지상파 DMB(Digital Multimedia Broadcasting)의 동영상의 경우 H.264의 압축 방식을 이용하면서 하나의 슬라이스로 하나의 프레임을 구성하는 방법을 이용하게 된다. 슬라이스단위의 압축 방법은 오류에 강인한 특성을 갖도록 설계된 방법이다. 그러나 하나의 슬라이스 내부에 오류가 발생할 경우 슬라이스 전체에 대한 복호가 불가능해지는 특징이 있고 이는 프레임 단위의 오류가 발생함을 의미한다. 하나의 슬라이스로 하나의 프레임이 구성되는 영상에서 발생되는 에러는 슬라이스 전체가 에러로 취급되기 때문에 기존의 화소 또는 블록 단위의 에러와 비교하여 동영상의 화질에 더욱 심각한 문제가 발생하게 된다. 따라서 오류 영역이 전체 프레임이기 때문에 기존에 개발된 블록 단위의 EC기법의 적용이 불가능한 문제점이 있다. 현재 지상파 DMB나 위성 DMB와 같은 휴대방송의 경우 수신된 방송의 동영상에 에러가 존재할 경우 일반적으로 새로운 I 프레임이 수신될 때까지 오류 이전의 영상을 정지 화면 형태로 출력하는 프레임 프리즈(Frame Freeze) 기법이 주로 사용된다. 도 2는 일반적인 프레임 프리즈(Frame Freeze) 기법을 사용한 동영상 복호화시 프레임 에러 발생 이후에 출력되는 프레임들의 예시도이다. 도 2에서와 같이 프레임 프리즈 기법은 프레임이 손실되기 이전의 올바르게 전송된 프레임을 오류 프레임 대신 출력하게 되기 때문에 프레임 프리즈 기법은 사용자에게 영상 정보를 정확하게 전달할 수 없는 문제점이 있으며, 다수의 프레임에 오류가 발생되어 다수의 프레임을 프레임 프리즈 기법을 사용하여 처리할 경우 중요한 정보의 손실이 발생할 수 있다. 일반적인 지상파 DMB의 경우에는 30프레임 마다 I 프레임이 수신되기 때문에 수신 에러가 발생할 경우 다음 I 프레임이 수신될 때까지 수신되는 모든 비디오 프레임 정보를 버릴 수밖에 없게 되고, 따라서 휴대방송 시청자는 정지된 영상을 볼 수밖에 없는 문제점이 있다.