옵트로닉 감시 시스템에서, 포인트형 타겟들을 검출 및추적하는 방법 document_id A220623051425

옵트로닉 모니터링 시스템에서, 영상들의 디지털 처리 목적은 관찰된 장면의 징후(threat)에 대응할 수 있는 유용한 신호를 추출하고 이런 가능한 징후에서 공간적 및 시간적 추적(track)을 수행하는 것이다. 따라서 상기 옵트로닉 모니터링 시스템은 특히 관찰된 옵트로닉 장면으로부터 소위 플롯(plot)들이라 칭하는 단일 포인트들을 추출하는 것을 가능하게 하는 검출 모듈과, 공간적 및 시간적 기준에서 추출된 플롯들을 상호 연관(inter-associate)시키는 것을 가능하게 하는 추적 모듈을 포함한다 : 다양한 순간들에서 관찰되고 추적 모듈에 의해 연관되는 플롯들의 세트를 소위 트랙이라 한다. 각각의 트랙은 잠재적인 타겟(실제 대상)을 나타낸다. 이런 옵트로닉 모니터링 시스템의 예는 도 1에 도시된다. 상기 시스템은 관찰될 장면(2)의 필드를 커버할 수 있는 옵트로닉 센서(들)(1)로 구성된다. 이런(이들) 옵트로닉 센서(들)은 데이터 링크를 통하여 관찰 장면(2)의 영상 DATAIN를 디지털 신호 처리 컴퓨터(3)로 규칙적인 시간 간격들에서 전달한다. 이런 컴퓨터는 실시간으로 이들 영상들에게 알고리즘 기능들을 적용한다. 통상적으로 제공되는 적당한 영상들을 처리하기 위한 알고리즘들(필터링, 결함 화소들의 복구, 등)외에, 컴퓨터(3)에 의해 실시간으로 수행되는 알고리즘 기능들은 두 개의 메인 모듈, 즉 검출 모듈(4) 및 추적 모듈(5)로 분할된다. 우리는 표면 영역 및 외관 거리가 화소 크기의 옵트로닉 센서상에서 광학 스폿을 생성할 수 있게 하는 징후에 대해 검색하는 것에 특히 흥미가 있다. 이런 프레임워크내에서, 검출 및 추적 모듈들의 알고리즘 기능들은 포인트형 타겟들, 즉 영상 화소에 대응하는 것들에 대해 정의된다. 타겟이 영상의 몇 개의 화소들에 대응하는 경우, 감소 기능들(줌 에어(zoom air))은 포인트형 타겟의 경우로 되돌아 가도록 검출 모듈에서 국부적으로 사용된다. 당업자에게 잘 알려진 이들 영상 처리 특징들은 본 발명의 주제에 적당하지 않고, 그러므로 여기에 상세히 기술되지 않을 것이다. 포인트형 타겟들을 검색하는 특정한 프레임워크내에서, 컴퓨터(3)에 의해 실시간으로 수행되는 처리는 다음과 같이 구성될 수 있다: - 관찰되고, 옵트로닉 센서(들)(1)에 의해 제공되며, 일반적으로 사전 필터되는 장면의 옵트로닉 영상들을 검출 모듈(4)이 수신한다. 입력으로서 인가된 옵트로닉 관찰 영상(DATAIN)에 기초하여, 이 영상로부터 공간적으로 및 방사로 하나의 징후에 대응할 수 있는 플롯들의 세트, 즉 화소(포인트형 타겟)에 대응하는 플롯을 추출한다. - 추적 모듈(5)의 목적은 사람/머신 인터페이스 또는 무기 시스템 같은 보다 높은 상위 시스템에게 트랙이라 불리는 검출된 잠재적 징후에 대한 정보를 제공하는 것이다. 트랙들의 생성은 다음 문제를 해결한다: 공통 근원(origin)을 가진 연속적인 관찰된 영상들로부터 발생하는 플롯들은 어떤 것인가, 즉 하나이며 동일한 이동 소스인가? 따라서, 실제로, 트랙은 시간에 따라 연관된 플롯들의 세트로서 정의될 것이다. 이런 플롯들의 세트로부터 타겟의 운동학적인 이동이 추론되고, 이것은 특히 관찰된 장면에서 움직임을 예측하는 것을 가능하게 한다. 보다 특히, 검출 모듈(4)은 통상적으로 영상 분석을 바탕으로 한다. 보다 정확하게, 검출 모듈은 예를 들어 신호 대 잡음 비가 특정 임계치를 초과하는 플롯들을 추출하기 위하여 영상에서 관찰된 잡음(센서의 고유 잡음 및 고유의 장면 잡음 포함)의 국부적 분석을 시도할 수 있다. 따라서 추출된 각각의 플롯은 예를들어 각도 위치 및 신호 레벨(방사 레벨) 같은 특정 수의 특성들 또는 속성과 연관된다. 대부분의 최근 옵트로닉 센서들의 사용은 영상의 공간 및/또는 스펙트럼 특성들(센서에 의해 전달되는 정보의 타입에 따라)의 분석을 허용한다. 따라서, 플롯이 추출된 배경의 공간 및 스펙트럼 분배정보를 각각의 플롯과 연관시키는 것이 가능하다. 이런 목적을 위하여 목표가 동질의 특성들을 나타낼 수 있는 영상의 다양한 부분들을 식별하고, 이들을 동질의 존들로 함께 그룹화하고 각각의 존의 특성들을 결정하는, 특히 존에서의 평균 잡음 레벨 및 표준 표차를 결정하는 영상 분해 모듈이 제공된다. 이런 정보는 이런 포인트가 놓이는 동질의 존에 대응하는 영상 부분이라 참조되는 이 포인트에서의 신호 대 잡음 비를 영상의 각각의 포인트(화소)에서 계산하기 위하여 추후에 사용될 정보이다. 주어진 화소에서 신호 대 잡음 비를 계산하기 위한 모듈은 고려된 화소의 국부적 배경을 특성화하는 연관된 동질의 존(Zi)의 특성들을 사용한다: 상기 배경은 평균 잡음 레벨( ) 및 표준 편차( ). 보다 정확하게, 영상 포인트에서 신호 대 잡음 비(SNR)의 계산은 다음 계산을 수행한다: 여기서 S는 고려된 화소의 방사 신호(그레이 레벨이라 함), 및 화소와 연관된 동질 존(Zi)상에서 방사 신호들(통상적으로, 적외선 레벨들)의 평균 및 표준 편차인 및 이다. 관찰된 영상의 각각의 화소에서 계산된 신호 대 잡음 비(SNR)는 SNR≥thd인 플롯들을 식별하기 위하여 미리 결정된 검출 임계치(thd)와 비교된다. 이런 관계를 만족시키는 플롯들은 검출된 플롯들이다. 이들 검출된 플롯들은 장면의 대비 대상들, 또는 잡음에 의해 손상된 화소들에 대응할 수 있다. 실제로, 미리 결정된 검출 임계치(thd)는 범위 한계에서 타겟의 것과 동일한 신호 대 잡음 비를 나타내는 화소에 대한 오 알람 및 검출의 가능성의 주어진 쌍을 보장하는 방식으로 계산된다. 이 값은 실제로 검출하고자 하는 타겟 및 이 타겟에 요구된 범위에 따른다. 검출 모듈의 출력에서, 출력 데이터(DETOUT)는 제공된다. 검출 모듈의 이들 출력 데이터(DETOUT)는 추적 모듈에 대한 입력으로 인가된다. 이것은 도 2에 도표로 표현된다. 영상 분해 및 플롯 검색 단계를 완료하면, 우리는 연관된 동질의 존(Zi) 상에서 계산된 신호 대 잡음 비(SNR)가 검출 임계치(thd) 보다 큰 각각에 대해 검출된 플롯들(pl1, pl2, pl3)을 얻는다. 이 단계의 종료시, 검출 모듈(4)은 추적 모듈(5)에 검출된 플롯들의 리스트를 포함하는 데이터(DETOUT), 즉 각각의 플롯에 대해, 그들 각각의 속성들, 특히: 영상 플롯의 위치, 플롯(S)의 방사 레벨, 플롯과 연관된 동질의 존(Zi)에서 방사 신호들의 평균, 동질의 존(Zi)에서 방사 신호들의 표준 편차를 가진 데이터를 전송한다. 이들 속성들은 가정 트랙 또는 유효 트랙과 플롯을 연관시키고, 관찰된(위치, 신호 레벨, 속도, 가속도) 다음 영상에서 이들 트랙들의 위치를 예측하기 위하여 특히 추적 모듈에 사용되고, 고려된 가정 또는 유효 트랙의 플롯들 각각의 속성들에 기초한다. 추적 모듈(5)을 다루어, 플롯들을 연관시키기 위한 두 개의 처리들은 구현된다: 가정 트랙을 유효화하기 위한 플롯들의 연관, 및 유효 트랙들을 유지하기 위한 플롯들의 연관. 이들 두 개의 처리들은 다른 알고리즘들을 구현하는 것들이다. 이들 두 개의 연관 처리들의 완료시에, 만약 가정 트랙 또는 유효 트랙과 연관될 수 없는 플롯이 남아 있다면, 새로운 가정 트랙은 이 플롯으로 생성된다. 현재 관찰된 영상로부터 발생하는 플롯과 상호 연관되고 가정 또는 유효 트랙을 형성하는 이전 관찰들로부터 발생하는 다른 플롯들과의 연관은 일반적으로 모든 플롯들 사이의 시간 및 공간 코히어런스(coherence)의 존재에 의존한다. 연관 기술들은 당업자에게 잘 공지되었다. 연관 기술들은 일반적으로 운동학적 및/또는 공간적 기준을 바탕으로 하고, 이를 통하여 플롯들에 대해 공통인 운동 모델은 결정된다. 이런 운동 모델은 타겟의 위치 예측을 가능하게 한다. 상기 예측 위치는 새로운 관찰시 타겟 검출에 대응하는 플롯을 검색할 위치 주변이다. 운동 모델이 완전하지 않고 변화할 수 있기 때문에, 만약 타겟이 기동(maneuver)하면, 특정 위도는 연관 처리가 타겟의 예측된 위치 주변 플롯을 검색하게 한다. 이런 플롯 검색 존은 연관 존을 구성한다. 그 크기는 실제로 찾아진 타겟들의 기동성, 시스템 주파수, 타겟들의 최대 속도 등에 의존한다. 연관 및 유효 처리는 실제로 다음 동작을 수행하는 것으로 구성된다: - 제 1 영상에서, 검출된 각각의 플롯에 대해(상기 플롯의 신호 대 잡음 비(SNR)는 검출 임계치(thd) 보다 크거나 같음), 가정 트랙은 제로 속도로 초기화되고, 필터링 동작들은 다음 영상에서 가정된 타겟의 위치를 예측하기 위하여 적용된다; - 다음 영상에서, 생성된 각각의 가정 트랙에 대해, 플롯이 검출 모듈(3)에 의해 검출되었는지 여부에 대해 이전 단계에서 예측된 위치 주변 연관 존을 찾는다. 만약 찾았다면, 필터링 동작들은 운동 모델을 업데이트하고 다음 영상에서 가정된 타겟 위치를 예측하는 등을 위해 이 가정 트랙과 연관된 두 개의 플롯들에 적용된다. 종래 기술 상태에 따라, 가정 트랙은 만약 플롯들의 수(P)가 이들 Q 관찰 중에 연관되면, Q 연속 관찰 영상들 이후 유효화된다. 그러므로 세개 조(triplet)(P, Q, thd)는 가정 트랙에 대한 유효 기준을 구성한다. 실제로, P 및 Q의 값들 및 검출 임계치(thd)는 예를 들어 (90%, 10%)와 동일한 미리 결정된 가능성 쌍(트랙들, 오 트랙들의 생성)을 보장하기 위하여 결정된다: 따라서 옵트로닉 장면에 제공되는 실제 대상(잠재적 징후)을 나타내는 기준에서 90%의 트랙 생성 기준, 및 플롯들의 빈약한 연관으로 인한 10%의 오 알람 기회가 있다. 따라서, 제 1 관찰시, 제 1 플롯(SNR≥thd)을 검출하고, 대응하는 가정 트랙은 생성된다. 이 가정 트랙은 Q 번째 관찰 후, 만약 Q 번째 관찰에서, 이 가정 트랙과 P 번째 플롯을 연관시키는 것이 가능할 때까지 유효하지 않을 것이다. 가정 트랙과 연관된 각각의 P 플롯들은 SNR≥thd을 만족한다. 만약 가정 트랙이 유효화되면[기준(P, Q, thd)이 만족되면], 이 유효 트랙(플롯들의 위치, 운동학적 특성들 등)과 연관된 데이터는 보다 높은 차수 시스템(DATAOUT)에 전송된다. 실제로, 각각의 가정 또는 유효 트랙에 대해, 예를들어 지난 H 관찰 결과들(H003e#Q를 가짐)과 같이, 트랙의 히스토리는 컴퓨터 테이블에 기록된다. 새로운 플롯이 연관될 때마다, 필터링 동작들은 매번 예측 파라미터들(운동학적 등)을 재초기화하기 하도록 업데이트된 테이블 플롯들의 전체 세트에 적용된다. 종래 기술 상태를 반영하는 모니터링 시스템들에서, 관찰된 영상의 플롯들을 식별하기 위하여 검출 모듈에 사용된 검출 임계치(thd) 및 가정 트랙들을 유효화하기 위한 추적 모듈에 사용된 수들(P 및 Q)은 감시 시스템의 특성들 및 모니터될 징후의 기능으로서 미리 정의된 고정된 시스템 파라미터들이다. 이들 시스템 파라미터들(P, Q 및 thd)의 값들은, 검출되지만 잡음 본성에 대응하는 플롯들이 가정 트랙을 유효화하거나 이미 생성된 트랙을 유지하기 위하여 사용될 수 없도록 결정된다. 그러므로 이들 값들(P, Q 및 thd)은 옵트로닉 센서의 범위 한계에서 타겟에 대한 검출 출력시 오 알람들의 가능성(FA)에 의존한다. 시간 당 h의 오 트랙들을 생성할 가능성은 푸아송(Poisson) 법칙에 따른다. 상기 법칙은 하기와 같다: , 여기서 m은 시간 당 생성된 오 트랙들의 평균 수이다. 시간 당 허용 가능한 결함 트랙들의 이런 평균 수(m)는 실제로 쌍(P,Q) 및 검출로부터 발생하는 오 알람들의 비율의 값(FA)에 결부된다. 특히, 시간 당 오 트랙들의 평균 수(m)는 영상 당(스캔 당) 생성된 오 트랙들의 평균 수(Nm)의 3600.f배와 동일하고, f는 감시 시스템에 의해 커버된 존의 스캐닝 빈도이다, 즉: m = 3600.f.Nm(식 1) 스캔 당 오 트랙들의 평균 수(Nm)는 결함 트랙에 대해 발생하는 화소 가능성(Pfp)에 의해 곱셈되는 스캔 존을 커버하기 위하여 사용하는 화소들의 수(Npi)와 동일하다, 즉 Nm=Npi×Pfp. 수(Npi)는 공지되고, 사용된 센서에 의존한다. 화소가 오 트랙에 대해 발생할 가능성(Pfp)은 이 화소가 오 알람에 대해 발생할 가능성과 이 화소가 감시 섹터의 Q 관찰 결과들 중에 적어도 P 오 알람들과 추후에 연관되는 가능성이다. 이런 가능성(Pfp)를 결정하기 위하여, 다음과 같이 표현된 검출 출력에서 오 알람들의 가능성(Fa)을 고려할 필요가 있다 : (식 2) 종래 트랙과 연관될 부가적인 오 알람을 얻을 가능성은 다음 이벤트 가능성이다: "트랙의 외삽 위치 주변 크기 R*R의 연관 영역을 개방시에, 적어도 하나의 오 알람은 발견됨". 이런 이벤트는 "트랙의 외삽 위치 주변 연관 존을 개방시에, 결함 없는 알람이 발견됨"에 대한 반대의 이벤트이고, 이것은 다음과 같이 표현 가능하다: "연관 존의 화소들중 어느 것도 오 알람을 발생시키지 않음, 이런 이벤트의 가능성은 (1-FAR*R)이고, 여기서 R*R은 연관 존의 크기를 나타낸다. 이로부터 종래 트랙과 연관될 부가적인 오 알람을 얻을 가능성은 1-(1-FAR*R)과 같다. "Q-1 관찰 결과들 중 i 오 알람들을 얻는" 이벤트 가능성은 "종래 트랙과 연관될 부가적인 오 알람"의 i 배들을 얻을 가능성 및 "연관 존에 오 알람이 없는 것"의 (Q-1-i) 배들의 가능성이다. 그러므로 이런 가능성은 이고, 여기서 는 Q-1중 i 엘리먼트들의 결합 수를 나타낸다. 따라서 이다. m=3600.f.Npi.Pfp에서 시작하여, (식 3)을 얻는다. 그러므로, 시간 당 허용 가능한 오 트랙들의 평균 수(m) 및 쌍(P,Q)뿐 아니라 검출로부터 발생하는 정격 오 알람들의 값(FA) 사이의 관계는 오 트랙들의 주어진 생성 비율을 가능하게 할 파라미터들(FA) 및 P를 발견하기 위하여 트랙 생성 결정(이것은 처리에 대해 허용 가능한 지연 시간에 대응됨) 전에 허용 가능한 관찰 결과들의 최대 수로서 Q를 고정함으로써 가능하게 한다. 이 식은 주어진 오 트랙들의 비율에 대해, 만약 P의 값을 감소시키도록 선택하면, 트랙들의 생성에 대한 알람들의 연관성 제한은 감소한다는 것을 나타낸다. 따라서, 검출 출력에서 오 알람율을 감소시키기 위하여 오 알람율(FA)의 값을 감소시킬 필요가 있을 것이다. 반대로, 만약 P를 증가시키면, 트랙들을 생성하는데 필요한 알람들의 수에 관하여 보다 많은 요구를 가지기 때문에, 자체적으로 오 알람율을 감소시킬 수 있을 것이다. 추적 처리 스테이지에서 마주하는 문제점은 타겟이 이동하는 옵트로닉 장면 배경의 복잡성에 있다. 예를들어, 유효 가정 트랙의 경우, 만약 타겟이 복잡 존에 진입하면, 대응하는 영상에서 검출되지 않을 수 있다. 특히, 타겟의 방사 신호는 이전 것과 동일하다. 그러므로 복잡 존에서 포인트형 타겟의 신호 대 잡음 비는 감소하는 경향이 있다. 만약 검출 임계치(thd) 보다 낮게 되면, 타겟은 이와 같은 복잡 배경상에서 더 이상 검출되지 않을 것이다. 그러나, 만약 현재 영상에서 포인트형 타겟의 검출이 없다면, 운동학적 속성들(필터링 동작들)은 잘못 변형되고 예측 그 자체가 잘못될 것이다. 타겟 자동 추적을 실패할 위험이 있다. 이런 자동 추적 실패 문제는 만약 타겟이 옵트로닉 센서의 범위 한계로 진행하면 발생할 수 있다: 방사 신호는 약하게 된다. 신호 대 잡음 비는 또한 감소한다.