마이크로폰 신호를 기반으로 공간 큐의 세트를 제공하는 장치, 방법 및 컴퓨터 프로그램과, 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 document_id 1020117008238

[청구항 1] 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100; 200 300; 1200; 1300; 1400; 1500)에 있어서, 상기 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 성분 에너지 정보 (e{ss*}, e{nn*}) 및 방향 정보 (a,α)를 획득하여, 상기 성분 에너지 정보 (e{ss*}, e{nn*})가 상기 2채널 마이크로폰 신호의 직접 사운드 성분 (s) 및 상기 2채널 마이크로폰 신호의 확산 사운드 성분 (n)의 에너지의 추정을 나타내고, 상기 방향 정보 (a,α)가 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기(130; 1212; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호의 상기 방향 정보 (a,α)를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기(140; 1216 1312; 1410; 1510)를 포함하며 상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 방향 정보 (a,α)를 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수(g 1 , g 2 , g 3 , g 4 , g 5 )의 세트로 맵하도록 구성되고; 및 상기 공간 보조 정보 생성기는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g 1 , g 2 , g 3 , g 4 , g 5 )를 기반으로 2 이상의 서라운드 채널 (l,r,c,ls,rs)의 추정된 강도를 나타내는 채널 강도 추정 (p l , p r , p c , p ls , p rs )을 획득하도록 구성되며; 및 상기 공간 보조 정보 생성기는 상기 채널 강도 추정 (p l , p r , p c , p ls , p rs )을 기반으로 상기 업믹스 오디오 신호와 관련된 상기 공간 큐 (icld lls , icc lls , icld rrs , icld 1 , icld 2 )를 결정하도록 구성하며 상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는, 에 따라 상기 업믹스 오디오 신호의 좌측 프론트 서라운드 채널의 추정된 전력 스펙트럼 값 (p l )을 획득하고, 에 따라 상기 업믹스 오디오 신호의 우측 프론트 서라운드 채널의 추정된 전력 스펙트럼 값 (p r )을 획득하며, 에 따라 상기 업믹스 오디오 신호의 중심 서라운드 채널의 추정된 전력 스펙트럼 값 (p c )을 획득하며, 에 따라 상기 업믹스 오디오 신호의 좌측 리어 서라운드 채널의 추정된 전력 스펙트럼 값 (p ls )을 획득하며, 에 따라 상기 업믹스 오디오 신호의 우측 리어 서라운드 채널의 추정된 전력 스펙트럼 값 (p rs )을 획득하도록 구성되고, 및 상기 공간 보조 정보 생성기는 또한 상기 추정된 전력 스펙트럼 값을 이용하여 다수의 서로 다른 채널간 레벨차 (icld lls , icld rrs , icld 1 , icld 2 )를 계산하도록 구성되며, g 1 , g 2 , g 3 , g 4 , g 5 은 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수이며, f(a)는 방향 의존 진폭 보정 계수이며, e{ss*}는 상기 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))의 직접 사운드 성분 (s)의 에너지의 추정을 나타내는 성분 에너지 정보이며 e{nn*}는 상기 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))의 확산 사운드 성분 (n)의 에너지의 추정을 나타내는 성분 에너지 정보이며; 및 h 1 , h 2 , h 3 , h 4 , h 5 는 확산 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 확산 사운드 분포 계수인 것을 특징으로 하는 공간 큐의 세트를 제공하는 장치 [청구항 2] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 방향 정보 (a,α)를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 상기 공간 큐 정보에 직접 맵하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 3] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 방향 정보 (a,α)를, 중간 수량으로서 실제 상기 업믹스 오디오 채널을 이용하지 않고, 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 상기 공간 큐 정보 (icldll, icclls, icldrrs, icld1, icld2)에 맵하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 4] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 방향 정보 (a,α)를 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수(g1, g2, g3, g4, g5)의 세트로 맵하도록 구성되고; 및상기 공간 보조 정보 생성기는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g1, g2, g3, g4, g5)를 기반으로 2 이상의 서라운드 채널 (l,r,c,ls,rs)의 추정된 강도를 나타내는 채널 강도 추정 (pl, pr, pc, pls, prs)을 획득하도록 구성되며; 및상기 공간 보조 정보 생성기는 상기 채널 강도 추정 (pl, pr, pc, pls, prs)을 기반으로 상기 업믹스 오디오 신호와 관련된 상기 공간 큐 (icldlls, icclls, icldrrs, icld1, icld2)를 결정하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 5] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g1, g2, g4, g5)를 기반으로 상기 업믹스 신호의 서로 다른 채널 (l,ls,r,rs) 간의 상관을 나타내는 채널 상관 정보 (plls, prrs)를 획득하도록 구성되며; 및상기 공간 보조 정보 생성기는 또한 상기 채널 강도 추정 (pl, pls, pr, prs) 및 상기 채널 상관 정보 (plls, prrs) 중 하나 이상을 기반으로 상기 업믹스 신호와 관련된 공간 큐 (icclls, iccrrs)를 결정하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 6] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 채널 강도 추정 (pl, pr, pc, pls, prs)을 획득하기 위해 상기 2 채널 마이크로폰 신호 (x1(t), x2(t))의 직접 사운드 성분 (s)의 강도의 추정 (e{ss*}) 및 상기 2 채널 마이크로폰 신호의 확산 사운드 성분 (n)의 강도의 추정(e{nn*})을 선형적으로 조합하도록 구성되며, 및상기 공간 보조 정보 생성기는 상기 이득 계수 (g1,..., g5) 및 상기 방향 정보 (a,α)에 따라 상기 직접 사운드 성분의 강도의 추정 (e{ss*})을 웨이트하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 7] 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100; 200 300; 1200; 1300; 1400; 1500)에 있어서, 상기 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 성분 에너지 정보 (e{ss*}, e{nn*}) 및 방향 정보 (a,α)를 획득하여, 상기 성분 에너지 정보 (e{ss*}, e{nn*})가 상기 2채널 마이크로폰 신호의 직접 사운드 성분 (s) 및 상기 2채널 마이크로폰 신호의 확산 사운드 성분 (n)의 에너지의 추정을 나타내고, 상기 방향 정보 (a,α)가 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기(130; 1212; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호의 상기 방향 정보 (a,α)를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기(140; 1216 1312; 1410; 1510)를 포함하며 상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 방향 정보 (a,α)를 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수(g 1 , g 2 , g 3 , g 4 , g 5 )의 세트로 맵하도록 구성되고; 및 상기 공간 보조 정보 생성기는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g 1 , g 2 , g 3 , g 4 , g 5 )를 기반으로 2 이상의 서라운드 채널 (l,r,c,ls,rs)의 추정된 강도를 나타내는 채널 강도 추정 (p l , p r , p c , p ls , p rs )을 획득하도록 구성되며; 및 상기 공간 보조 정보 생성기는 상기 채널 강도 추정 (p l , p r , p c , p ls , p rs )을 기반으로 상기 업믹스 오디오 신호와 관련된 상기 공간 큐 (icld lls , icc lls , icld rrs , icld 1 , icld 2 )를 결정하도록 구성하며 상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는, 에 따라 상기 업믹스 오디오 신호의 좌측 프론트 서라운드 채널 및 우측 리어 서라운드 채널 간의 추정된 상호 상관 스펙트럼 값 (p lls )을 획득하고, 에 따라 우측 프론트 서라운드 채널 및 우측 리어 서라운드 채널 간의 추정된 상호 상관 스펙트럼 값 (p rrs )을 획득하며, 채널간 코히어런스 큐 (icc lls , icc rrs )를 획득하도록 상기 업믹스 오디오 신호의 서라운드 채널의 추정된 전력 스펙트럼 값 (p l , p ls , p r , p rs )과 상기 추정된 상호 상관 스펙트럼 값을 조합하도록 구성되며, g 1 , g 2 , g 4 , g 5 은 방향 의존 직접 사운드 전력 서라운드 오디오 채널 맵핑을 나타내는 이득 계수이며, f(a)는 방향 의존 진폭 보정 계수이며, e{ss*}는 상기 2채널 마이크로폰 신호 (x 1 , x 2 )의 직접 사운드 성분 (s)의 에너지의 추정을 나타내는 성분 에너지 정보이며 e{nn*}는 상기 2채널 마이크로폰 신호 (x 1 , x 2 )의 확산 사운드 성분 (n)의 에너지의 추정을 나타내는 성분 에너지 정보인 것을 특징으로 하는 공간 큐의 세트를 제공하는 장치 [청구항 8] 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100; 200 300; 1200; 1300; 1400; 1500)에 있어서, 상기 2채널 마이크로폰 신호 (x 1 (t), x 2 (t))를 기반으로 성분 에너지 정보 (e{ss*}, e{nn*}) 및 방향 정보 (a,α)를 획득하여, 상기 성분 에너지 정보 (e{ss*}, e{nn*})가 상기 2채널 마이크로폰 신호의 직접 사운드 성분 (s) 및 상기 2채널 마이크로폰 신호의 확산 사운드 성분 (n)의 에너지의 추정을 나타내고, 상기 방향 정보 (a,α)가 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기(130; 1212; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호의 상기 방향 정보 (a,α)를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기(140; 1216 1312; 1410; 1510)를 포함하며 상기 신호 분석기(130; 1212; 1312; 1410; 1510)는, 상기 확산 사운드 성분 (n)의 에너지 (e{nn*})가 상기 제 1 채널 마이크로폰 신호 (x 1 ) 및 상기 제 2 채널 마이크로폰 신호 (x 2 )에서 동일하고, 상기 제 1 마이크로폰 신호 (x 1 ) 및 상기 제 2 마이크로폰 신호 (x 2 )에서의 상기 직접 사운드 성분 (s)의 에너지(e{ss*}, a 2 e{ss*})의 비가 방향 의존적이며, 및 상기 제 1 마이크로폰 신호 (x 1 ) 및 상기 제 2 마이크로폰 신호 (x 2 )에서의 상기 확산 사운드 성분 (n 1 ,n 2 ) 간의 정규 상호 상관 계수 (φ)가 1보다 작은 상수 값을 취하고, 상수 값은 상기 제 1 마이크로폰 신호 (x 1 ) 및 상기 제 2 마이크로폰 신호 (x 2 )를 제공하는 마이크로폰의 지향성 특성에 의존한다는 가정을 고려하여, (1) 상기 2채널 마이크로폰 신호의 제 1 채널 마이크로폰 신호 (x 1 )의 추정된 에너지 (e{x 1 x 1 *}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 추정된 에너지 (e{nn*}) 간의 관계, (2) 상기 2채널 마이크로폰 신호의 제 2 채널 마이크로폰 신호 (x 2 )의 추정된 에너지 (e{x 2 x 2 *}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 상기 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 상기 추정된 에너지 (e{nn*}) 간의 관계, 및 (3) 상기 제 1 채널 마이크로폰 신호 (x 1 ) 및 상기 제 2 채널 마이크로폰 신호 (x 2 )의 추정된 상호 상관 값 (e{x 1 x 2 *}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 상기 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 상기 추정된 에너지 (e{nn*}) 간의 관계를 나타내는 연립 방정식을 풀도록 구성되는 것을 특징으로 하는 공간 큐의 세트를 제공하는 장치 [청구항 9] 2채널 오디오 신호 및, 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(200)에 있어서, 제 1 지향성 마이크로폰(216) 및 제 2 지향성 마이크로폰(218)을 포함하는 마이크로폰 장치(210)로서, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 30 센티미터만큼 이격되고, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 상기 제 2 지향성 마이크로폰의 지향성 특성이 상기 제 1 지향성 마이크로폰의 지향성 특성의 회전된 버전이도록 맞추어지는 마이크로폰 장치(210) 청구항 1 내지 8 중 어느 한 항에 따라, 2 채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100)로서, 상기 2 채널 마이크로폰 신호로서 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호 (x 1 , x 2 )를 수신하여, 이를 기반으로 상기 공간 큐의 세트를 제공하도록 구성되는 장치(100); 및 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호 (x 1 , x 2 ), 또는 이의 처리된 버전을 상기 2채널 오디오 신호로서 제공하도록 구성되는 2 채널 오디오 신호 제공자(230; 340 1214; 1314)를 포함하는 것을 특징으로 하는 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 [청구항 10] 처리된 2채널 오디오 신호 및, 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(300)에 있어서, 청구항 1 내지 8 중 어느 한 항에 따라, 상기 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100); 및 상기 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 처리된 2채널 오디오 신호를 제공하도록 구성되는 2채널 오디오 신호 제공자(230; 340 1214; 1314)를 포함하는데, 상기 2채널 오디오 신호 제공자는 하나 이상의 제 1 마아크로폰 신호 스케일 계수 (h 1 )를 이용하여 상기 2채널 마이크로폰 신호의 제 1 오디오 신호 (x 1 )를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 1 처리된 오디오 신호 를 획득하도록 구성되고, 상기 2채널 오디오 신호 제공자는 또한 하나 이상의 제 2 마아크로폰 신호 스케일 계수 (h 2 )를 이용하여 상기 2채널 마이크로폰 신호의 제 2 오디오 신호 (x 2 )를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 2 처리된 오디오 신호 를 획득하도록 구성되며, 상기 2채널 오디오 신호 제공자는 공간 큐의 세트를 제공하는 장치의 상기 신호 분석기에 의해 제공되는 상기 성분 에너지 정보 (e{ss*}, e{nn*})를 기반으로 상기 하나 이상의 제 1 마아크로폰 신호 스케일 계수 (h 1 ) 및 상기 하나 이상의 제 2 마아크로폰 신호 스케일 계수 (h 2 ) 를 계산하여, 상기 공간 큐 및 상기 마아크로폰 신호 스케일 계수 (h 1 , (h 2 ) 의 양방이 상기 성분 에너지 정보에 의해 결정되도록 구성되는 것을 특징으로 하는 처리된 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치