본 연구에서는 텍스트를 매개체로 한 감각의 변환과 증강을 바탕으로 연구를 수행하고자 하며, 그 개념을 구체화 한 두 가지 응용분야를 연구하고자 한다. 먼저 이미지와 음성으로부터 텍스트를 추론해서 다큐멘터리 제작에 필요한 프리뷰노트를 생성하는 프로그램을 개발하고자 한다. 또한, 텍스트로 쓰인 스토리를 음성으로 읽을 때, 그로부터 실감나는 분위기를 증강시켜 몰입감을 높이는 기술을 개발하고자 한다. 각 연구의 구체적인 개요는 다음과 같다.

 

 

 

 

본 연구에서는 입력 영상을 분석하여 시각적인 특성과 음성적인 특성을 인식하고 영상의 상황을 표현하는 기술을 개발하여 이를 바탕으로 다큐멘터리 제작에 필수로 사용되는 프리뷰 노트를 생성하는 프로그램을 개발하여 다큐멘터리 제작의 고도화를 꾀하고자 한다.

 

현재 프리뷰 노트의 경우 모든 과정이 전적으로 수작업으로 이루어지고 있기 때문에 시간과 노력이 많이 소모되고 이에 따라 다큐멘터리의 제작 효율이 떨어지는 문제점을 지니고 있다. 이러한 문제를 해결할 수 있는 제작 도구의 개발이 요구되고 있으며 본 연구에서 제안하는 프로그램을 통하여 제작의 효율성을 획기적으로 증가시킬 수 있을 것으로 예상한다.

 

본 연구에서 제안하는 제작 프로그램은 입력 영상을 분석하여 시각적인 정보와 음성적인 정보를 획득하는 전처리 과정과 획득한 정보를 학습 모델을 기반한 DB와 비교하여 영상의 전체적인 정보를 획득하는 후처리 과정, 그리고 이러한 영상 정보를 이용해 영상의 상황을 기술하는 출력 과정으로 이루어진다.

 

이 기술 개발을 기반으로 맥락 추정을 통한 스토리 구성을 하는 분야의 시장을 개척하고, 시각장애인 지원과 보안의 능동성 향상 등 다양한 분야에서 활용 가능할 것으로 예상한다.