장애인방송 기술개발 현황 Status of Development of Broadcasting Technology for the Disabled

현재 자막방송은 지상파의 경우 100% 이루어지고 있으며, 속기에 의한 자막 시간 지연은 2~4초, 정확도는 98% 이상인 것으로 알려지고 있으나 공식적으로 보고된 것은 없다. 자막의 표기 방법은 화자의 원 발화를 그대로 옮겨 적는 것을 원칙으로 하고 중간에 단절되는 부분이 없도록 하며, 방송 프로그램 매 회당 오·탈자 및 띄어쓰기 등의 입력 오류는 2% 이내인 것이 바람직한 것으로 장애인방송 프로그램 제공 가이드라인을 제시하고 있다. 2017년 10월 23일부터 방송된 8,371개의 폐쇄 자막을 기초로 분석한 결과는 그림 11과 같다. 전체 자막의 76% 정도가 90% 이상의 정확도를 갖는 것으로 파악되었으며, 이 중 26% 정도가 95% 이상의 정확도를 갖는 것으로 분석되었다. 방송 자막은 몇 개의 단어로 이루어진 단문이 많아 단어 사전에 기초한 자막의 오·탈자 정도만 파악할 수 있다. 따라서 단어 자체는 맞더라도 문맥에 맞지 않는 경우에 대해서는 분석되지 않아 한국어 자연어처리기술의 적용도 요구된다. 한편, 자막 지연 시간에 대해서는 오디오의 시간과 자막의 Presentation Time Stamp(PTS)를 이용하여 분석 가능할 것이다. 이를 위해서는 해당 자막이 나오는 오디오의 시작 부분을 찾는 오디오와 폐쇄 자막을 동기화하는 기술도 필요하다. 이를 극복하는 방법으로서는 대부분의 프로그램에서 자막을 제공하고 있어, Text to Speech(TTS) 기술을 이용하여 자막을 음성 합성을 통해 오디오로 제공하는 이른바 음성 자막(Spoken Subtitle)을 고려해 볼 수 있다. 다만, 사용할 수 있는 음성이 제한되어 있고, 대부분이 낭독체이기 때문에 감정을 주고받는 대화체 위주의 방송에 적용하기 위해서는 감정표현이나 인물의 특성을 어느 정도 반영하는 진화된 음성합성기술이 필요하다. 최근 구글과 같은 글로벌 기업을 필두로 대용량 음성데이터에 바탕을 둔 딥러닝 기반 음성합성기술이 비약적으로 발전하고 있다. 구글의 Tacotron은 Sequence-to-Sequence 모델에 기반을 두고 있으며 가장 자연스러운 음성을 표현한다. 네이버에서는 음성 데이터양을 1/10로 줄여 적은 음성 데이터만으로 음성 합성이 가능하고 웨이브넷 보코더를 결합시켜 음질을 개선한 하이브리드 음성합성엔진을 발표하고 있다. 이러한 음성합성기술의 발전은 목소리에 감정을 추가하여 표현할 수 있는 종단 간 감정음성합성시스템에 대한 연구로 이어지고 있다. 현재의 장애인방송에 있어 편성 목표만 달성하고자 하는 수동적인 자세로는 시·청각장애인의 만족도를 높이기 어렵다. 콘텐츠의 제작에 있어서도 감성적인 측면을 고려하는 것이 질적 만족도를 향상시킬 수 있을 것이다. 또한, 최근 디지털콘텐츠의 폭발적 증가는 효과적인 자료 검색을 위해 특정 자료의 내용 및 성격 등에 대한 메타데이터 구축이 필수적이다. 기존에는 직접 영상을 살펴보면서 메타데이터를 입력하였지만, 최근에는 딥러닝을 이용하여 영상/오디오/자막을 분석하고, 등장인물의 표정 등을 식별하여 자동으로 메타데이터를 구축하는 서비스도 등장하고 있다. 검색을 위한 메타데이터의 구축과 더불어 콘텐츠에 감성적인 효과를 반영함으로써 질적 만족도를 높이기 위해서는 감성 또는 감정과 관련된 정보를 자동으로 추출하고, 이를 서비스 대상 콘텐츠에 적절하게 표현해 줌으로써 앞서 언급한 개량형 자막, 수화, 음성 자막에서 등장인물의 감정과 내용을 효과적으로 시·청각장애인에게 전달할 수 있다. 수화방송은 청각장애인이나 언어장애인을 위해서 방송 화면과 함께 수화 통역을 통해 방송 내용 또는 대화를 소개해 주는 서비스이다. 일반적으로 수화 화면은 주화면의 오른쪽 하단에 전체 화면의 1/16에 불과한 크기로 청색이나 녹색 배경을 갖는 원 안에 수화 통역사를 표출하고 있다. 수화방송은 비디오 화면에 수화 화면이 함께 인코딩되어 송출되기 때문에 비장애인의 경우에는 수화 화면이 주화면을 가리는 것에 대한 불만이 있다. 또한, 청각장애인도 여러 이유에 의해 수화방송에 대한 불만을 갖고 있다. 수화방송에 대한 청각장애인의 만족도는 매우 낮은 편으로 수화방송의 이해도를 조사한 결과 응답자의 79%는 절반 이하밖에 이해하지 못한다고 하며, 82%가 만족하지 못한다는 의견을 보였는데, 주된 요인은 화면의 크기, 수화의 속도, 통역사의 표현방식과 잘못된 표현 등이 지적되었다. 최근 방송통신위원회에서는 현재 제공 되고 있는 수화방송의 불편함을 개선하여 방송 영상과 수화방송 영상을 각각 방송망과 인터넷망으로 송출하되, TV에서 이를 합성하여 화면에 동시에 표시함으로써 수화 화면의 위치나 크기를 조절할 수 있는 ‘스마트 수화방송 서비스’를 계획하고 있다. 자막이나 화면해설방송의 경우에는 방송 시그널링 정보에 서비스를 구분하는 디스크립터를 통해 최소한 현재 방송되는 프로그램이 장애인방송에 해당되는지 확인할 수 있다. 그렇지만 수화방송의 경우에는 서비스 유무를 표시하는 정보가 방송 시그널링 정보에 포함되고 있지 않기 때문에 방송화면에서 수화영역을 인식하여 판단할 수밖에 없다. 수화방송의 수화 영역은 일반적으로 방송 화면의 우측 하단에 위치하고 있고, 방송사별 또는 방송프로그램별로 위치가 일정하지 않은 경우가 많다. 또한, 최근에는 수화 화면이 주 화면을 가리는 불만을 해소하기 위해 배경 없이 수화 통역사만 분리하여 화면에 제시하는 경우도 많아지고 있다. 최지훈의 연구는 방송프로그램별 방송영상 캡처 이미지 셋을 이용하여 수화 영역을 자동으로 검출하여 수화방송 유무 판단 오류를 줄일 수 있는 방법을 제안하고 있으며, 약 93% 정도의 정확도로 보인다. 또한, 그래픽 기반의 수화 표현에 대한 청각장애인의 만족도를 향상시키기 위해서는 단순한 손(몸)동작 외에 내용의 이해를 도울 수 있는 표정 전달, 알아보기 쉽고 분명한 동작, 방송내용의 정확한 전달이 요구된다. 따라서 새롭게 시도될 그래픽 기반의 수화 생성 시스템은 손동작 외에도 표정, 입술의 움직임을 통하여 내용 전달과 함께 감정 전달도 함께할 수 있도록 데이터가 구성되어야 할 것이다. 이를 위해서는 한국어에 대응하는 수화 말뭉치에 대해 동작, 표정, 입술의 움직임 등을 디지털화하여 데이터베이스를 구축할 필요가 있다. 아울러 수화 말뭉치의 디지털화는 시간과 비용이 소요되기 때문에 꾸준하게 진행되어야 한다. 따라서, 향후 디지털화를 수행하는 주체와 관계없이 수화 동작의 통일성을 유지하고 양적 확대 및 많은 분야에의 적용을 확장해 나가기 위해서는 수화 동작의 디지털화에 대한 표준화가 필요하다. 특정 분야에 대한 한정되는 서비스가 아닌 대국민 공공서비스, 실생활 전반적인 분야로의 확대, 딥러닝 기반의 자동 수화 인식 등의 장애와 관계없는 소통 플랫폼(Barrier-Free Communication Platform)을 위해서는 국가적 차원에서 한국어 수화 말뭉치에 대한 디지털 데이터를 꾸준히 확장시켜 나가야 한다. 화면해설 오디오에 대한 분석은 주 오디오와 부 오디오 간의 두 오디오의 차이를 비교하여 실제 화면 해설에 대한 오디오의 분량이 어느 정도 인지를 파악하는 것이다. 두 오디오의 동기가 정확한 경우에는 오디오 프레임마다 특징 벡터를 추출하여, 비교하고 전체 오디오에 대해 화면 해설에 대한 오디오로 판정된 부분의 합계를 비율로써 산출한다. 보통 다큐멘터리와 같이 외국어가 포함된 프로그램에 있어서 외국어는 주 오디오에 위치하고, 우리말로 통역된 오디오는 부 오디오에 수록된다. 따라서 단순하게 오디오의 특징 차이를 비교하는 방법에서는 전형적인 화면해설 오디오와 통역 오디오를 구분할 수 있는 방법이 없으므로, 다른 방법을 고안하는 것이 필요하다. 102개의 지상파 프로그램에 대해 직접 청취에 의한 프로그램 내의 화면해설분량과 소프트웨어를 통해 검출한 화면해설구간을 분석한 화면해설분량을 비교한 결과이다. 대표적으로는 음성인식 기술을 이용하여 방송자막을 생성하는 서비스를 들 수 있으며, 입 모양을 보고 텍스트를 생성하는 립리딩(Lip reading), 음성정보를 입 모양의 CG와 동기화하는 기술이 발표되고 있다. 이들 기술은 딥러닝을 이용한 음성합성 기술과 결합하여 훨씬 적은 비용으로 빠른 콘텐츠를 제작하거나 많은 음성서비스에 활용될 가능성이 높다. 또한, 동영상에 기반한 감정 인식 결과는 자막, 수화, 음성합성에 적절한 표현을 부여하는 정보로 사용되어 시·청각장애인이 내용을 입체적으로 파악하는 데 도움이 될 것으로 판단된다. 한편, 초고화질 방송인 Ultra High Definition(UHD) 방송서비스는 High-Definition Television(DTV) 이후의 차세대 주요 방송서비스로 대두 되고 있으나, 기존 장애인방송 표준을 그대로 적용할 수 없기 때문에 방송 미디어 환경변화에 따른 장애인 방송 개선방안에 대한 보완이 필요하다.