오디오 디코더 document_id A220623055006

최근, MPEG 오디오 규격에 있어서 Spatial Audio Codec(공간적 부호화)이라고 하는 기술이 규격화되어 가고 있다. 이것은, 매우 적은 정보량으로 현장감을 나타내는 멀티 채널 신호를 압축·부호화하는 것을 목적으로 하고 있다. 예를 들면, 이미 디지털 TV의 음성 방식으로서 널리 사용되고 있는 멀티 채널 코덱인 AAC(Advanced Audio Coding) 방식이 5.1ch당 512kbps나 384kbps라는 비트 레이트를 필요로 하는데 비해, Spatial Audio Codec에서는 128kbps나 64kbps, 또한 48kbps라는 매우 적은 비트 레이트로 멀티 채널 신호를 압축 및 부호화하는 것을 목표로 하고 있다(예를 들면, 비특허 문헌 1 참조). 도 1은, 종래의 오디오 장치의 구성을 도시한 블록도이다. 오디오 장치(1000)는, 오디오 신호의 쌍에 대한 공간 음향 부호화를 행해 부호화 신호를 출력하는 오디오 엔코더(1100)와, 그 부호화 신호를 복호화하는 오디오 디코더(1200)를 구비하고 있다. 오디오 엔코더(1100)는, 1024샘플이나 2048샘플 등에 의해 나타내어지는 프레임 단위로 오디오 신호(예를 들면, 2채널의 오디오 신호 L, R)를 처리하는 것으로서, 다운믹스부(1110)와, 바이노럴 큐 검출부(1120)와, 엔코더(1150)와, 다중화부(1190)를 구비하고 있다. 다운믹스부(1110)는, 2채널의 스펙트럼 표현된 오디오 신호 L, R의 평균을 취함으로써, 즉 M=(L＋R)／2에 의해 오디오 신호 L, R이 다운믹스된 다운믹스 신호 M을 생성한다. 바이노럴 큐 검출부(1120)는, 스펙트럼 밴드마다 오디오 신호 L, R 및 다운믹스 신호 M을 비교함으로써, 다운믹스 신호 M을 오디오 신호 L, R로 되돌리기 위한 BC 정보(바이노럴 큐)를 생성한다. BC정보는, 채널간 레벨/강도차(inter－channel level/intensity diffrence)를 나타내는 레벨 정보 IID와, 및 채널간 코히어런스/상관(inter－channel coherence/correlation)을 나타내는 상관 정보 ICC와, 채널간 위상 지연차(inter－channel phase/delay diffrence)를 나타내는 위상 정보 IPD를 포함한다. 여기서, 상관 정보 ICC가 2개의 오디오 신호 L, R의 유사성을 나타내는데 비해, 레벨 정보 IID는 상대적인 오디오 신호 L, R의 강도를 나타낸다. 일반적으로, 레벨 정보 IID는 소리의 밸런스나 정위를 제어하기 위한 정보이고, 상관 정보 ICC는 음상의 폭이나 확산성을 제어하기 위한 정보이다. 이들은 모두 듣는 사람이 청각적 정경을 머릿속에서 구성하는 것을 돕는 공간 파라미터이다. 스펙트럼 표현된 오디오 신호 L, R 및 다운믹스 신호 M은「파라미터 밴드」로 이루어지는 통상 복수의 그룹으로 구분되어 있다. 따라서, BC 정보는 각각의 파라미터 밴드마다 산출된다. 또한, 「BC정보」와「공간 파라미터」라고 하는 용어는 자주 동의적으로 사용된다. 엔코더(1150)는, 예를 들면 MP3(MPEG Audio Layer－3)나, AAC(Advanced Audio Coding) 등에 의해 다운믹스 신호 M을 압축 부호화한다. 다중화부(1190)는, 다운 믹스 신호 M과, 양자화된 BC 정보를 다중화함으로써 비트 스트림을 생성해, 그 비트 스트림을 상술한 부호화 신호로서 출력한다. 오디오 디코더(1200)는, 역다중화부(1210)와, 디코더(1220)와, 멀티 채널 합성부(1240)를 구비하고 있다. 역다중화부(1210)는 상술한 비트 스트림을 취득해, 그 비트 스트림으로부터 양자화된 BC정보와, 부호화된 다운 믹스 신호 M을 분리해 출력한다. 또한, 역다중화부(1210)는 양자화된 BC정보를 역양자화하여 출력한다. 디코더(1220)는, 부호화된 다운믹스 신호 M을 복호화해 멀티 채널 합성부(1240)에 출력한다. 멀티 채널 합성부(1240)는, 디코더(1220)로부터 출력된 다운믹스 신호 M과, 역다중화부(1210)로부터 출력된 BC 정보를 취득한다. 그리고, 멀티 채널 합성부(1240)는 그 BC 정보를 사용해, 다운 믹스 신호 M으로부터 2개의 오디오 신호 L, R을 복원한다. 또한, 위에서는, 2채널의 오디오 신호를 부호화하여 복호화하는 예를 들어 오디오 장치(1000)를 설명했으나, 오디오 장치(1000)는 2채널보다도 많은 채널의 오디오 신호(예를 들면, 5.1채널 음원을 구성하는 6개 채널의 오디오 신호)를 부호화 및 복호화할 수도 있다. 도 2는, 멀티 채널 합성부(1240)의 기능 구성을 도시한 기능 블록도이다. 멀티 채널 합성부(1240)는, 예를 들면 다운믹스 신호 M을 6개 채널의 오디오 신호로 분리하는 경우, 제1 분리부(1241)와, 제2 분리부(1242)와, 제3 분리부(1243)와, 제4 분리부(1244)와, 제5 분리부(1245)를 구비한다. 또한, 다운믹스 신호 M은, 청취자의 정면에 배치되는 스피커에 대한 정면 오디오 신호 C와, 시청자의 좌측 전방에 배치되는 스피커에 대한 좌측 전방 오디오 신호 Lf와, 시청자의 우측 전방에 배치되는 스피커에 대한 우측 전방 오디오 신호 Rf와, 시청자의 좌측 횡방에 배치되는 스피커에 대한 좌측 횡방 오디오 신호 Ls와, 시청자의 우측 횡방에 배치되는 스피커에 대한 우측 횡방 오디오 신호 Rs와, 저음 출력용 서브우퍼 스피커에 대한 저역 오디오 신호 LFE가 다운믹스되어 구성되어 있다. 제1 분리부(1241)는, 다운믹스 신호 M으로부터 제1 다운 믹스 신호 M1과 제4 다운믹스 신호 M4를 분리해 출력한다. 제1 다운믹스 신호 M1은, 정면 오디오 신호 C와 좌측 전방 오디오 신호 Lf와 우측 전방 오디오 신호 Rf와 저역 오디오 신호 LFE가 다운믹스되어 구성되어 있다. 제4 다운믹스 신호 M4는, 좌측 횡방 오디오 신호 Ls와 우측 횡방 오디오 신호 Rs가 다운믹스되어 구성되어 있다. 제2 분리부(1242)는, 제1 다운믹스 신호 M1으로부터 제2 다운믹스 신호 M2와 제3 다운믹스 신호 M3를 분리해 출력한다. 제2 다운 믹스 신호 M2는, 좌측 전방 오디오 신호 Lf와 우측 전방 오디오 신호 Rf가 다운믹스되어 구성되어 있다. 제3 다운믹스 신호 M3는, 정면 오디오 신호 C와 저역 오디오 신호 LFE가 다운믹스되어 구성되어 있다. 제3 분리부(1243)는, 제2 다운믹스 신호 M2로부터 좌측 전방 오디오 신호 Lf와 우측 전방 오디오 신호 Rf를 분리해 출력한다. 제4 분리부(1244)는, 제3 다운믹스 신호 M3로부터 정면 오디오 신호 C와 저역 오디오 신호 LFE를 분리해 출력한다. 제5 분리부(1245)는, 제4 다운믹스 신호 M4로부터 좌측 횡방 오디오 신호 Ls와 우측 횡방 오디오 신호 Rs를 분리해 출력한다. 이렇게 멀티 채널 합성부(1240)는, 멀티 스테이지의 방법에 의해 각 분리부에서 1개의 신호를 2개의 신호로 분리하고, 단일의 오디오 신호가 분리될 때까지 재귀적으로 신호의 분리를 반복한다. 도 3은, 멀티 채널 합성부(1240)의 기능 구성을 도시한 다른 기능 블록도이다. 멀티 채널 합성부(1240)는 올 패스 필터(1261)와, 연산부(1262)와, BCC 처리부(1263)를 구비하고 있다. 올 패스 필터(1261)는, 다운믹스 신호 M을 취득해, 그 다운믹스 신호 M에 대해 상관성이 없는 무상관 신호 Mrev를 생성해 출력한다. 다운믹스 신호 M과 무상관 신호 Mrev는 각각을 청각적으로 비교하면, 「상호 인코히어런트」라고 간주된다. 또, 무상관 신호 Mrev는 믹스 신호 M과 같은 에너지를 가져, 마치 소리가 퍼지고 있는 것 같은 환각을 만들어 내는 유한 시간의 잔향 성분을 포함한다. BCC 처리부(1263)는 BC 정보를 취득하여, 그 BC정보에 포함되는 레벨 정보 IID나 상관 정보 ICC 등에 의거해 믹싱 계수 Hij를 생성해 출력한다. 연산부(1262)는, 다운믹스 신호 M, 무상관 신호 Mrev, 및 믹싱 계수 Hij를 취득하고, 이들을 사용해 (수학식 1)에 나타낸 바와 같이 연산을 행하여 오디오 신호 L, R을 출력한다. 이렇게 믹싱 계수 Hij를 사용함으로써, 오디오 신호 L, R간의 상관의 정도나 그들 신호의 지향성을 의도한 상태로 할 수 있다. 도 4는, 멀티 채널 합성부(1240)의 상세한 구성을 도시한 블록도이다. 멀티 채널 합성부(1240)는, 프리 매트릭스 처리부(1251)와, 포스트 매트릭스 처리부(1252)와, 제1 연산부(1253) 및 제2 연산부(1255)와, 무상관 처리부(1254)와, 분석 필터 뱅크(1256)와, 합성 필터 뱅크(1257)를 구비하고 있다. 또한, 프리 매트릭스 처리부(1251), 포스트 매트릭스 처리부(1252), 제1 연산부(1253), 제2 연산부(1255), 및 무상관 처리부(1254)에 의해 채널 확대부(1270)가 구성되어 있다. 분석 필터 뱅크(1256)는, 디코더(1220)로부터 출력된 다운믹스 신호 M을 취득해, 그 다운믹스 신호 M의 표현 형식을 시간/주파수 하이브리드 표현으로 변환하여 제1 주파수 대역 신호 x로서 출력한다. 또한, 이 분석 필터 뱅크(1256)는 제1 스테이지 및 제2 스테이지를 구비한다. 예를 들면, 제1 스테이지 및 제2 스테이지는 QMF 필터 뱅크 및 나이키스트 필터 뱅크이다. 이들 스테이지에서는, 우선 QMF 필터(제1 스테이지)에서 복수의 주파수 대역으로 분할하고, 또한 나이키스트 필터(제2 스테이지)에서 저주파수측의 서브 밴드를 더욱 미세한 서브 밴드로 나눔으로써, 저주파수 서브 밴드의 스펙트럼의 분해능을 높이고 있다. 프리 매트릭스 처리부(1251)는, 신호 강도 레벨의 각 채널로의 배분(스케일링)을 나타내는 스케일링 팩터인 행렬 R1을 BC 정보를 사용해 생성한다. 예를 들면, 프리 매트릭스 처리부(1251)는, 다운믹스 신호 M의 신호 강도 레벨과, 제1 다운믹스 신호 M1, 제2 다운믹스 신호 M2, 제3 다운믹스 신호 M3 및 제4 다운믹스 신호 M4의 신호 강도 레벨의 비율을 나타내는 레벨 정보 IID를 사용해 행렬 R1을 생성한다. 제1 연산부(1253)는, 분석 필터 뱅크(1256)로부터 출력된 시간/주파수 하이브리드 표현의 제1 주파수 대역 신호 x를 취득해, 예를 들면 (수학식 2) 및 (수학식 3)에 나타낸 바와 같이, 그 제1 주파수 대역 신호 x와 행렬 R1의 적(積)을 산출한다. 그리고, 제1 연산부(1253)는 그 행렬 연산 결과를 나타내는 중간 신호 v를 출력한다. 즉, 제1 연산부(1253)는, 분석 필터 뱅크(1256)로부터 출력된 시간/주파수 하이브리드 표현의 제1 주파수 대역 신호 x로부터 4개의 다운믹스 신호 M1~M4를 분리한다. 무상관 처리부(1254)는, 도 3에 도시한 올 패스 필터(1261)로서의 기능을 갖고, 중간 신호 v에 대해 올 패스 필터 처리를 실시함으로써, (수학식 4)에 나타낸 바와 같이 무상관 신호 w를 생성해 출력한다. 또한, 무상관 신호 w의 구성 요소 Mrev 및 Mi,rev는 다운 믹스 신호 M, M1에 대해 무상관 처리가 실시된 신호이다. 포스트 매트릭스 처리부(1252)는, 잔향의 각 채널로의 배분을 나타내는 행렬 R2를 BC 정보를 사용해 생성한다. 예를 들면, 포스트 매트릭스 처리부(1252)는, 음 상의 폭이나 확산성을 나타내는 상관 정보 ICC로부터 믹싱 계수 Hij를 도출해, 그 믹싱 계수 Hij로 구성되는 행렬 R2를 생성한다. 제2 연산부(1255)는, 무상관 신호 w와 행렬 R2의 적을 산출해, 그 행렬 연산 결과를 나타내는 출력 신호 y를 출력한다. 즉, 제2 연산부(1255)는, 무상관 신호 w로부터 6개의 오디오 신호 Lf, Rf, Ls, Rs, C, LFE를 분리한다. 예를 들면, 도 2에 도시한 바와 같이, 좌측 전방 오디오 신호 Lf는 제2 다운 믹스 신호 M2로부터 분리되므로, 그 좌측 전방 오디오 신호 Lf의 분리에는, 제2 다운믹스 신호 M2와, 그것에 대응하는 무상관 신호 w의 구성 요소 M2,rev가 사용된다. 마찬가지로, 제2 다운믹스 신호 M2는, 제1 다운 믹스 신호 M1으로부터 분리되므로, 그 제2 다운믹스 신호 M2의 산출에는, 제1 다운믹스 신호 M1과, 그것에 대응하는 무상관 신호 w의 구성 요소 M1,rev가 사용된다. 따라서, 좌측 전방 오디오 신호 Lf는 하기의 (수학식 5)에 의해 나타내어진다. 여기서, (수학식 5) 중의 Hij,A는 제3 분리부(1243)에 있어서의 믹싱 계수이며, Hij,D는 제2 분리부(1242)에 있어서의 믹싱 계수이며, Hij,E는 제1 분리부(1241)에 있어서의 믹싱 계수이다. (수학식 5)에 나타낸 3개의 수학식은, 이하의 (수학식 6)에 나타낸 1개의 벡터 곱셈식으로 정리할 수 있다. 좌측 전방 오디오 신호 Lf 이외의 다른 오디오 신호 Rf, C, LFE, Ls, Rs도 상술한 바와 같은 행렬과 무상관 신호 w의 행렬의 연산에 의해 산출된다. 즉, 출력 신호 y는 하기의 (수학식 7)에 의해 나타내어진다. 합성 필터 뱅크(1257)는, 복원된 각 오디오 신호의 표현 형식을 시간/주파수 하이브리드 표현에서 시간 표현으로 변환해, 그 시간 표현의 복수의 오디오 신호를 멀티 채널 신호로서 출력한다. 또한, 합성 필터 뱅크(1257)는, 분석 필터 뱅크(1256)와 정합하도록, 예를 들면 2개의 스테이지로 구성된다. 또, 행렬 R1, R2는 상술한 파라미터 밴드 b마다 행렬 R1(b), R2(b)로서 생성된다. 도 5는, 오디오 디코더(1200)의 구성을 도시한 다른 블록도이다. 또한, 도 5에 있어서의 이중선의 화살표는 복수의 주파수 대역으로 분할된 주파수 대역 신호(상술한 제1 주파수 대역 신호 x 및 출력 신호 y)의 흐름을 나타내고 있다. 역다중화부(1210)에 의해 취득되는 부호화 신호는, 6채널의 오디오 신호가 2채널의 다운믹스 신호 M에 다운믹스되어 부호화된 부호화 다운믹스 신호와, 양자화된 BC 정보가 다중화되어 구성되어 있다. 역다중화부(1210)는, 그 부호화 신호를 부호화 다운믹스 신호와 BC 정보로 분리한다. 부호화 다운믹스 신호는, 예를 들면 MPEG 규격 AAC 방식으로 부호화된 2채널의 부호화 데이터이다. 디코더(1220)는 AAC 디코더를 사용하여, 그 부호화 다운믹스 신호를 복호화 한다. 그 결과, 디코더(1220)는, 2채널의 PCM 신호(시간축 신호)인 다운믹스 신호 M을 출력한다. 분석 필터 뱅크(1256)는 2개의 분석 필터(1256a)를 구비하고, 각 분석 필터(1256a)는, 디코더(1220)로부터 출력된 다운믹스 신호 M을 제1 주파수 대역 신호 x로 변환한다. 채널 확대부(1270)는, BC정보를 사용함으로써 2채널의 제1 주파수 대역 신호 x를 6채널의 출력 신호 y로 확대한다(예를 들면, 특허 문헌 1 참조). 합성 필터 뱅크(1257)는 6개의 합성 필터(1257a)를 구비하고, 각 합성 필터(1257a)는, 채널 확대부(1270)로부터 출력된 출력 신호 y를 PCM 신호인 오디오 신호로 변환한다. 도 6은, 오디오 디코더(1200)의 구성을 도시한 다른 블록도이다. 역다중화부(1210)에 의해 취득되는 부호화 신호는, 6채널의 오디오 신호가 1채널의 다운믹스 신호 M에 다운믹스되어 부호화된 부호화 다운믹스 신호와, 양자화된 BC 정보가 다중화되어 구성되어 있다. 이러한 경우, 디코더(1220)는 예를 들면 AAC 디코더를 사용하여 그 부호화 다운믹스 신호를 복호화한다. 그 결과, 디코더(1220)는, 1채널의 PCM 신호(시간축 신호)인 다운믹스 신호 M을 출력한다. 분석 필터 뱅크(1256)는 1개의 분석 필터(1256a)를 구비하고, 그 분석 필터(1256a)는, 디코더(1220)로부터 출력된 다운믹스 신호 M을 제1 주파수 대역 신호 x로 변환한다. 채널 확대부(1270)는 BC 정보를 사용함으로써, 1채널의 제1 주파수 대역 신호 x를 6채널의 출력 신호 y로 확대한다. 비특허 문헌 1：118th AES convention, Barcelona, Spain, 2005, Convention Paper 6447. 특허 문헌 1：일본 특원 2004－248989호 공보