[02]딥러닝을 활용한 시각적 드럼 가이드
- 김나연
- 인천대학교
- 작품구분일반형
- 공개여부공개
- 카테고리웹/앱, 교육/연구, 게임, 기타
- 등록일2023-09-12
- 팀원(공동개발자)오승엽, 김나연, 이유림, 이수빈(인천대학교 정보통신공학과), 장진이(인천대학교 소비자학과)
- 출품 경진대회제19회(2023년) 창의적종합설계경진대회
- 4
- 0
- 483
상세설명
1. 수행배경
-
높은 악기 선호도 및 꾸준한 관심 : 드럼은 전 연령층에서 선호하는 악기. 대형 플랫폼에서도 드럼 연습 채널이 많은 구독자 수 보유
-
접근성 향상을 위한 비용과 공간 절약 : 빔 프로젝터와 전자드럼만으로도 드럼을 연주할 수 있어 수월한 드럼 학습
2. 수행기간
- 3월 : 아이디어 구체화 및 개발 일정 수립, 유사 서비스 분석
- 4월 : 알고리즘 구현을 위한 악보 데이터 분석, 악보 분석 알고리즘 설계
- 5월 : 앱을 위한 ui/ux 디자인 설계, OpenCV를 사용한 악보 이미지 전처리
- 6월-7월 : 딥러닝을 통한 음표 이미지 학습, 안드로이드 기능 개발
- 8월 : 프로젝션 맵핑 구현, 알고리즘 테스트
- 9월 : 알고리즘 구현 마무리, 프로젝트 베타테스트 버그 수정
3. 개발작품 설명
-
사용자가 악기 위의 노드를 보며 간편하게 연주할 수 있도록 시각적인 도움을 주는 드럼 연주 가이드
-
딥러닝을 이용하여 악보 데이터 내 음표에 해당하는 위치의 드럼으로 신호를 보냄
-
프로젝션 맵핑 기술을 이용해 드럼 상단에 움직이는 원형의 노드를 프로젝션함
-
박자에 맞추어 움직이는 원을 정확히 타격하여 드럼을 연습함
4. 활용방안
-
음악 학원과의 연계, 드럼 교육 플랫폼으로 확장 : 일일과제 기능에 선생님이 직접 필요한 연습량을 작성하면 모바일을 통해 실시간으로 수강생의 과제 수행 상황 확인 가능.
또한, 일일과제 기능에 녹음 기능을 추가하여 수행한 과제를 통해 비대면으로도 실시간 피드백 가능
-
라이트 아트를 추가하여 드럼 공연에 활용 : 드럼 무대에 드럼라이트를 활용해 라이트 아트를 추가하면 관객들에게 드럼 연주를 통한 청각만이 아닌 시각적 즐거움을 얻을 수 있음
소개 영상
소개 슬라이드
정보가 없습니다.