소스 신호에 대한 손실 인코딩된 데이터 스트림 및 무손실 확장 데이터 스트림으로부터 상기 소스 신호에 대한 무손실 인코딩된 데이터 스트림을 생성하기 위해 상기 소스 신호를 무손실 인코딩하기 방법 및 장치 document_id A220623108875

(mp3, AAC 등과 같은) 손실 오디오 코딩 기법과는 달리 무손실 압축 알고리즘은 원 오디오 신호의 용장성(redundancy)을 이용해야만 데이터 전송률을 줄일 수 있다. 종래의 손실 오디오 코덱의 음향 심리(psycho-acoustical) 모델에서 확인되는 바와 같이 무관성(irrelevancy)에 의존하는 것이 가능하지 않다. 따라서 모든 무손실 오디오 코딩 방식의 공통된 기술적 원리는 상관해제(de-correlation)를 위해 필터 또는 변환(예컨대 예측 필터 또는 주파수 변환)을 적용하고, 그 다음에 변환된 신호를 무손실 방식으로 인코딩하는 것이다. 인코딩된 비트 스트림은 그 변환 또는 필터의 파라미터와 그 변환된 신호의 무손실 표현을 포함한다. 이에 대해서는 예컨대 「J. Makhoul, "Linear prediction: A titorial review", Proceedings of the IEEE, Vol.63, pp.561-580, 1975」, 「T. Painter, A. Spanias, "Perceptual coding of digital audio", Proceedings of the IEEE, Vol.88, No. 4, pp.451-513, 2000」및 「M. Hans, R.W. Schafer, "Lossless compression of digital audio", IEEE Signal Proceeding Magazine, July 2001, pp.21-32」를 참조한다. 손실 기반 무손실 코딩의 기본 원리는 도 8 및 9에 나타나 있다. 도 8의 좌측에 있는 인코딩부에서 PCM 오디오 입력 신호(SPCM)는 손실 인코더(81)를 통해 손실 디코더(82)에 입력됨과 동시에 디코딩부(우측)의 손실 디코더(85)에 손실 비트 스트림으로서 입력된다. 손실 인코딩 및 디코딩은 그 신호의 상관을 해제하는데 이용된다. 디코더(82)의 출력 신호는 감산기(83)에서 이 입력 신호(SPCM)으로부터 감산되고, 감산 결과로서 생성된 차신호는 무손실 인코더(84)를 통해 확장 비트 스트림으로서 무손실 디코더(87)에 입력된다. 디코더(85, 87)의 출력 신호들은 가산기(86)에서 합산되어 원신호(SPCM)로 복원된다. 이 기본 원리는 EP-B-0756386과 US-B-6498811에서 자동 코딩에 대해 개시되어 있으며, 또한 「P. Craven, M. Gerzon, "Lossless Coding for Audio Discs", J. Audio Eng. Soc., Vol.44, No.9, September 1996」와 「J. Koller, Th. Sporer, K.H. Brandenburg, "Robust Coding of High Quality Audio Signals", AES 103rd Convention, Preprint 4621, August 1997」에도 개시되어 있다. 도 9의 손실 인코더에서 PCM 오디오 입력 신호(SPCM)는 분석 필터 뱅크(91)와 부대역 샘플의 양자화부(92)를 통과하여 코딩 및 비트 스트림 패킹부(93)에 입력된다. 양자화부는 이 신호(SPCM)와 분석 필터 뱅크(92)로부터의 해당 정보를 수신하는 인지(perceptual) 모델 산출기(94)에 의해 제어된다. 디코더측에서, 그 인코딩된 손실 비트 스트림은 부대역 샘플 디코딩 수단(96)과 합성 필터 뱅크(97)가 차례로 이어지는 비트 스트림 패킹 해제 수단(95)에 입력되고, 이 합성 필터 뱅크(97)로부터는 디코딩된 손실 PCM 신호(SDec)가 출력된다. 손실 인코딩과 디코딩에 대한 예는 표준 ISO/IEC 11172-3(MPEG-1 Audio)에 자세히 설명되어 있다. 종래 기술에서는 다음의 3가지 기본적인 신호 처리 개념 중 하나에 따라서 무손실 오디오 코딩이 수행된다. a) 선형 예측 기법을 이용한 시간 영역 상관해제 b) 가역 정수 분석-합성 필터 뱅크를 이용한 주파수 영역 무손실 코딩 c) 손실 기본 계층 코덱의 잔류 신호(에러 신호)의 무손실 코딩 발명의 개요 본 발명이 해결하고자 하는 과제는 내장형(embedded) 손실 오디오 코덱에 추가로 구축되며 종래의 손실 기반 무손실 오디오 코딩 방식에 비해 효율(즉, 압축율)이 더 좋은 계층적 무손실 오디오 코딩 및 디코딩 방식을 제공하는 것이다. 이 과제는 청구항 제1항 내지 제3항 및 제7항 내지 제9항에 기재된 방법에 의해 해결된다. 이들 방법을 이용하는 장치는 청구항 제4항 내지 제6항 및 제10항 내지 제12항에 기재되어 있다. 본 발명은 손실 코딩에 더하여 수학적 무손실 인코딩과 디코딩을 이용한다. 수학적 무손실 오디오 압축은 디코더 출력에서 원래의 PCM 샘플의 비트 완전(bit-exact) 재생이 가능한 자동 코딩을 의미한다. 일부 실시예에서는 손실 인코딩은 예컨대 MDCT나 이와 유사한 필터 뱅크와 같은 주파수 변환을 이용하는 변환 영역에서 작동하는 것으로 가정된다. 예컨대 mp3 표준(ISO/IEC 11172-3 계층 3)은 본 명세서에서 손실 기본 계층에 대해 사용될 것이지만, 본 발명은 마찬가지로 다른 손실 코딩 방식(예컨대 AAC, MPEG-4 Audio)과 함께 적용될 수 있다. 전송된 또는 기록된 인코딩된 비트 스트림은 2 부분, 즉 손실 오디오 코덱의 내장 비트 스트림과, 무손실(즉, 비트-동일) 원 PCM 샘플이나 중간 품질을 얻기 위하여 하나 또는 몇 가지 부가 계층을 위한 확장 데이터를 포함한다. 본 발명은 기본적으로 상기 개념들 중 c) 개념을 따른다. 그러나 본 발명의 실시예들은 a) 및 b) 개념의 특성들, 즉 최신의 무손실 오디오 코딩 방식들 중 몇 가지의 상승적 조합도 이용한다. 본 발명은 주파수 영역 상관해제, 시간 영역 상관해제 또는 이들의 조합을 이용하여 효율적인 무손실 인코딩을 위해 기본 계층 손실 오디오 코덱의 잔류 신호(에러 신호)를 생성한다. 본 발명의 상관해제 기법은 손실 디코더로부터 추출되는 부수 정보(side information)를 이용한다. 이에 의해서 비트 스트림 내의 용장 정보의 전송이 방지되어 총 압축률이 개선된다. 개선된 압축률 이외에도, 본 발명의 일부 실시예는 (손실 코덱과 수학적 무손실 품질에 의해 제한된 범위 내에서) 하나 또는 몇 가지 중간 품질의 오디오 신호를 제공한다. 더욱이 본 발명은 간단한 비트 드롭핑(dropping) 기법을 이용하여 내장 손실 비트 스트림의 스트립핑(stripping)이 가능할 수 있다. 본 발명의 3가지 기본적인 실시예는 손실 기본 계층 코덱의 잔류 신호의 상관해제가 일어나는 영역에서 차이가 있는데, 즉 시간 영역, 주파수 영역 또는 통합된 양 영역에서 차이가 있다. 종래 기술과는 달리 모든 실시예는 손실 기본 계층 코덱의 디코더로부터 취해진 정보를 이용하여 상관해제 및 무손실 코딩 프로세스를 제어한다. 일부 실시예는 추가적으로 손실 기본 계층 코덱의 인코더로부터의 정보를 이용한다. 손실 기본 계층 코덱으로부터의 부수 정보의 이용은 전체 비트 스트림의 리던던시 감소를 가능하게 하여 손실 기반 무손실 코덱의 코딩 효율을 개선한다. 모든 실시예에서 서로 다른 품질 레벨을 가진 오디오 신호의 적어도 두 가지 변형이 비트 스트림으로부터 추출될 수 있다. 이들 변형은 원 PCM 샘플의 임베디드 손실 코딩 방식과 무손실 디코딩에 의해 표현되는 신호를 포함한다. 일부 실시예에서(하기의 "주파수 영역 상관해제"와 "주파수 및 시간 영역에서의 상관해제" 절을 참조) 중간 품질을 가진 오디오 신호의 하나 또는 몇 가지 다른 변형을 디코딩하는 것이 가능하다. 기본적으로, 본 발명의 인코딩 방법은, 소스 신호의 무손실 인코딩된 데이터 스트림을 함께 구성하는 손실 인코딩된 데이터 스트림과 무손실 확장 데이터 스트림을 이용한 소스 신호 무손실 인코딩에 적합하며, 상기 소스 신호를 손실 인코딩하여 상기 손실 인코딩된 데이터 스트림(111)을 제공하는 단계; 상기 손실 인코딩된 데이터를 손실 디코딩하여 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 부수 정보를 제공하는 단계; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호를 형성하는 단계; 시간 영역에서 상기 차신호의 연속값을 상관해제하기 위하여 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 차신호를 예측 필터링하는 단계; 상기 상관해제된 차신호를 무손실 인코딩하여 상기 무손실 확장 데이터 스트림을 제공하는 단계; 및 상기 무손실 확장 데이터 스트림을 상기 손실 인코딩된 데이터 스트림과 결합하여 상기 무손실 인코딩된 데이터 스트림을 형성하는 단계 를 포함하고, 또는, 상기 소스 신호를 손실 인코딩하여 상기 손실 인코딩된 데이터 스트림을 제공하는 단계; 상기 손실 인코딩된 데이터 스트림의 양자화된 계수와 상기 손실 인코딩으로부터 수신된 대응하는 아직 양자화되지 않은 계수로부터, 원 계수의 미세 양자화를 표현하는 스펙트럼 백색화 데이터를 산출하는 단계 - 상기 산출은 양자화된 에러의 파워가 본질직으로 모든 주파수에 대해 일정하도록 제어됨 -; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터를 손실 디코딩하여 디코딩된 신호를 재구성하는 단계; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호를 형성하는 단계; 상기 차신호를 무손실 인코딩하여 상기 무손실 확장 데이터 스트림을 제공하는 단계; 및 상기 무손실 확장 데이터 스트림을 상기 손실 인코딩된 데이터 스트림 및 상기 스펙트럼 백색화 데이터와 결합하여 상기 무손실 인코딩된 데이터 스트림을 형성하는 단계 를 포함하고, 또는, 상기 소스 신호를 손실 인코딩하여 상기 손실 인코딩된 데이터 스트림을 제공하는 단계; 상기 손실 인코딩된 데이터 스트림의 양자화된 계수와 상기 손실 인코딩으로부터 수신된 대응하는 아직 양자화되지 않은 계수로부터, 원 계수의 미세 양자화를 표현하는 스펙트럼 백색화 데이터를 산출하는 단계 - 상기 산출은 양자화된 에러의 파워가 본질직으로 모든 주파수에 대해 일정하도록 제어됨 -; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터를 손실 디코딩하여 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 부수 정보를 제공하는 단계; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호를 형성하는 단계; 시간 영역에서 상기 차신호의 연속값을 상관해제하기 위하여 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 차신호를 예측 필터링하는 단계; 상기 상관해제된 차신호를 무손실 인코딩하여 상기 무손실 확장 데이터 스트림을 제공하는 단계; 및 상기 무손실 확장 데이터 스트림을 상기 손실 인코딩된 데이터 스트림 및 상기 스펙트럼 백색화 데이터와 결합하여 상기 무손실 인코딩된 데이터 스트림을 형성하는 단계 를 포함한다. 기본적으로, 본 발명의 디코딩 방법은, 무손실 인코딩된 소스 신호의 무손실 인코딩된 데이터 스트림(122)을 함께 구성하는 손실 인코딩된 데이터 스트림과 무손실 확장 데이터 스트림으로부터 무손실 인코딩된 소스 신호 데이터 스트림을 디코딩하는데 적합하며, 상기 소스 신호가 손실 인코딩하여 상기 손실 인코딩된 데이터 스트림을 제공하고; 상기 손실 인코딩된 데이터가 대응적으로 손실 디코딩하여 표준 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 부수 정보를 제공하고; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호가 형성되고; 시간 영역에서 상기 차신호의 연속값을 상관해제하기 위하여 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 차신호가 예측 필터링되고; 상기 상관해제된 차신호가 무손실 인코딩되어 상기 무손실 확장 데이터 스트림을 제공하고; 상기 무손실 확장 데이터 스트림이 상기 손실 인코딩된 데이터 스트림과 결합되어 상기 무손실 인코딩된 데이터 스트림을 형성하고, 상기 방법은, 상기 무손실 인코딩된 소스 신호 데이터 스트림을 디멀티플렉싱하여 상기 무손실 확장 데이터 스트림과 상기 손실 인코딩된 데이터 스트림을 제공하는 단계; 상기 손실 인코딩된 데이터 스트림을 손실 디코딩하여 손실 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 상기 부수 정보를 제공하는 단계; 상기 무손실 확장 데이터 스트림을 디코딩하여 상기 상관해제된 차신호를 제공하는 단계; 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 상관해제된 차신호의 연속값을 역 상관해제 필터링하는 단계; 및 상기 상관해제 필터링된 차신호를 상기 손실 디코딩된 신호와 결합하여 상기 소스 신호를 재구성하는 단계 를 포함하고, 또는, 상기 소스 신호가 손실 인코딩되어 상기 손실 인코딩된 데이터 스트림을 제공하고; 상기 손실 인코딩된 데이터 스트림의 양자화된 계수와 상기 손실 인코딩으로부터 수신된 대응하는 아직 양자화되지 않은 계수로부터, 원 계수의 미세 양자화를 표현하는 스펙트럼 백색화 데이터가 산출되고, 상기 산출은 양자화된 에러의 파워가 기본적으로 모든 주파수에 대해 일정하도록 제어되고; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터가 손실 디코딩되어 디코딩된 신호가 재구성되고; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호가 형성되고; 상기 차신호가 무손실 인코딩되어 상기 무손실 확장 데이터 스트림을 제공하고; 상기 무손실 확장 데이터 스트림이 상기 손실 인코딩된 데이터 스트림 및 상기 스펙트럼 백색화 데이터와 결합되어 상기 무손실 인코딩된 데이터 스트림을 형성하고, 상기 방법은, 상기 무손실 인코딩된 소스 신호 데이터 스트림을 디멀티플렉싱하여 상기 무손실 확장 데이터 스트림과 상기 손실 인코딩된 데이터 스트림을 제공하는 단계; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터 스트림을 손실 디코딩하여 손실 디코딩된 신호를 재구성하는 단계; 상기 무손실 확장 데이터 스트림을 디코딩하여 상기 차신호를 제공하는 단계; 및 상기 차신호를 상기 손실 디코딩된 신호와 결합하여 상기 소스 신호를 재구성하는 단계 를 포함하고, 또는, 상기 소스 신호가 손실 인코딩되어 상기 손실 인코딩된 데이터 스트림을 제공하고; 상기 손실 인코딩된 데이터 스트림의 양자화된 계수와 상기 손실 인코딩으로부터 수신된 대응하는 아직 양자화되지 않은 계수로부터, 원 계수의 미세 양자화를 표현하는 스펙트럼 백색화 데이터가 산출되고, 상기 산출은 양자화된 에러의 파워가 기본적으로 모든 주파수에 대해 일정하도록 제어되고; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터가 손실 디코딩되어 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 부수 정보를 제공하고; 상기 소스 신호의 대응 지연 형태와 상기 디코딩된 신호 간의 차신호가 형성되고; 시간 영역에서 상기 차신호의 연속값을 상관해제하기 위하여 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 차신호가 예측 필터링되고; 상기 상관해제된 차신호가 무손실 인코딩되어 상기 무손실 확장 데이터 스트림을 제공하고; 상기 무손실 확장 데이터 스트림이 상기 손실 인코딩된 데이터 스트림 및 상기 스펙트럼 백색화 데이터과 결합되어 상기 무손실 인코딩된 데이터 스트림을 형성하고, 상기 방법은, 상기 무손실 인코딩된 소스 신호 데이터 스트림을 디멀티플렉싱하여 상기 무손실 확장 데이터 스트림과 상기 손실 인코딩된 데이터 스트림을 제공하는 단계; 상기 스펙트럼 백색화 데이터를 이용하여 상기 손실 인코딩된 데이터 스트림을 손실 디코딩함으로써 손실 디코딩된 신호를 재구성하고 시간 영역 예측 필터를 제어하기 위한 상기 부수 정보를 제공하는 단계; 상기 무손실 확장 데이터 스트림을 디코딩하여 상기 상관해제된 차신호를 제공하는 단계; 상기 부수 정보로부터 도출된 필터 계수를 이용하여 상기 상관해제된 차신호의 연속값을 역 상관해제 필터링하는 단계; 및 상기 상관해제된 필터링된 차신호를 상기 손실 디코딩된 신호와 결합하여 상기 소스 신호를 재구성하는 단계 를 포함한다. 본 발명의 장치는 대응하는 본 발명의 방법의 기능들을 수행한다. 본 발명의 추가적인 바람직한 실시예들은 각각의 종속항에 기재되어 있다.