1. 수행배경

사람들은 소리를 들을 때 귀로부터 전달된 정보를 뇌에서 해석하게 된다. 이러한 소리를 시각화하는 방법은 음악의 정보를 시각화한 기보법만이 유일한 소리 시각화의 방법이었다. 소리의 시각화는 청각과 시각 두 가지 감각 기관과 연관된 공감각적인 표현이다. 이처럼 귀로 듣는 것뿐만 아니라 눈을 통하여 시각화된 정보를 함께 전달하는 방식으로 공감각적인 효과를 극대화 시키면서 사용자의 몰입도를 증대시킬 수 있다. 

2. 수행기간

3. 개발작품 설명

• mic array가 인식하는 소리를 분석하여 소리의 세기를 측정한다.

• 특정 채널에서의 소리를 추출하여 원하는 소리만 들을 수 있다.

• 음원의 좌표를 구한 다음, 해당 좌표를 기반으로 실시간으로 화면에 송출되는 영상 위에 히트맵으로 그린다

• 발생한 소리의 세기를 분석하여 높낮이를 그래프에 표현한다.

4. 활용방안

단일 마이크가 아닌 원형 마이크 어레이를 사용함으로써 여러 방향에서 들려오는 소리의 정보를 분석하여 용도에 적합하게 변형한다. 이를 통해 청각과 시각을 융합한 공감각적 영역에서의 응용이 가능하다.

(1) 기술적 측면

각 마이크가 인식하는 소리를 분석하여 가장 세기가 큰 소리의 위치를 sound source로 지정한다. 그리고 분석한 데이터를 기반으로 좌표를 구한 다음, 카메라로 입력받은 영상 위에 세기를 히트맵으로 나타낸다.

(2) 산업/경제적 측면