mic array를 이용한 소리의 시각화
- 김은서
- 인천대학교
- 작품구분일반형
- 공개여부비공개
- 카테고리정보
- 등록일2020-06-19
- 팀원(공동개발자)김은서, 차지영, 석희연, 나요한
- 출품 경진대회2020년-1학기 산학 캡스톤디자인 경진대회(학생팀 & 멘토 모집)
- 4
- 0
- 1,543
상세설명
1. 수행배경
사람들은 소리를 들을 때 귀로부터 전달된 정보를 뇌에서 해석하게 되는데 소리의 시각화는 청각과 시각 두 가지 감각 기관과 연관된 공감각적인 표현이라고 할 수 있다. 이처럼 귀로 듣는 것뿐만 아니라 눈을 통하여 시각화된 정보를 함께 전달하는 방식으로 공감각적인 효과를 극대화 시키면서 동시에 사용자의 몰입도를 증대시킬 수 있다.
또한, 실시간으로 mic array에 인식되는 소리의 구성 요소를 기반으로 시각화하기 때문에 다양한 분야에서 활용이 가능하다. 주변 소음으로 인해 소리를 인지하지 못하는 상황에서의 빠른 대처가 가능한 경우가 그 예이다.
2. 수행기간
- 04.23~06.17
3. 개발작품 설명
(1) mic array가 인식하는 소리를 분석하여 소리의 세기를 측정한다.
(2) 특정 채널에서의 소리를 추출하여 원하는 소리만 들을 수 있다.
(3) 음원의 좌표를 구한 다음, 해당 좌표를 기반으로 실시간으로 화면에 송출되는 영상위에 히트맵으로 그린다.
(4) 발생한 소리의 세기를 분석하여 높낮이를 그래프에 표현한다
4. 활용방안
단일 마이크가 아닌 원형 마이크 어레이를 사용함으로써 여러 방향에서 들려오는 소리의 정보를 분석하여 용도에 적합하게 변형한다. 이를 통해 청각과 시각을 융합한 공감각적 영역에서의 응용이 가능하다.
(1) 기술적 측면
각 마이크가 인식하는 소리를 분석하여 가장 세기가 큰 소리의 위치를 sound source로 지정한다. 그리고 분석한 데이터를 기반으로 좌표를 구한 다음, 카메라로 입력받은 영상 위에 세기를 히트맵으로 나타낸다.
(2) 산업/경제적 측면
산업적인 측면에서, 사람이 잘 인지하지 못하는 소리도 히트맵으로 나타냄으로써 접근성이 어려운 곳의 문제점을 쉽게 파악할 수 있다. 또한 특정 소리를 추출함으로써 해당 문제점을 해결하는데 도움을 줄 수 있다.
교육적인 측면에서, 눈으로 보기 힘든 요소(ex. 강세)를 시각적으로 표현하여 텍스트만으로는 어려운 학습의 능률을 높인다.
소개 영상
소개 슬라이드
정보가 없습니다.