본문 바로가기

[02]딥러닝을 활용한 시각적 드럼 가이드

  • 김나연
  • 인천대학교
  • 작품구분일반형
  • 공개여부비공개
  • 카테고리웹/앱, 교육/연구, 게임, 기타
  • 등록일2023-09-12
  • 팀원(공동개발자)오승엽, 김나연, 이유림, 이수빈(인천대학교 정보통신공학과), 장진이(인천대학교 소비자학과)
  • 출품 경진대회제19회(2023년) 창의적종합설계경진대회

상세설명

1. 수행배경

  • 높은 악기 선호도 및 꾸준한 관심 : 드럼은 전 연령층에서 선호하는 악기. 대형 플랫폼에서도 드럼 연습 채널이 많은 구독자 수 보유

  • 접근성 향상을 위한 비용과 공간 절약 : 빔 프로젝터와 전자드럼만으로도 드럼을 연주할 수 있어 수월한 드럼 학습

2. 수행기간

  • 3월 : 아이디어 구체화 및 개발 일정 수립, 유사 서비스 분석
  • 4월 : 알고리즘 구현을 위한 악보 데이터 분석, 악보 분석 알고리즘 설계
  • 5월 : 앱을 위한 ui/ux 디자인 설계, OpenCV를 사용한 악보 이미지 전처리
  • 6월-7월 : 딥러닝을 통한 음표 이미지 학습, 안드로이드 기능 개발
  • 8월 : 프로젝션 맵핑 구현, 알고리즘 테스트
  • 9월 : 알고리즘 구현 마무리, 프로젝트 베타테스트 버그 수정

3. 개발작품 설명

  • 사용자가 악기 위의 노드를 보며 간편하게 연주할 수 있도록 시각적인 도움을 주는 드럼 연주 가이드

  • 딥러닝을 이용하여 악보 데이터 내 음표에 해당하는 위치의 드럼으로 신호를 보냄

  • 프로젝션 맵핑 기술을 이용해 드럼 상단에 움직이는 원형의 노드를 프로젝션함

  • 박자에 맞추어 움직이는 원을 정확히 타격하여 드럼을 연습함

4. 활용방안

  • 음악 학원과의 연계, 드럼 교육 플랫폼으로 확장 : 일일과제 기능에 선생님이 직접 필요한 연습량을 작성하면 모바일을 통해 실시간으로 수강생의 과제 수행 상황 확인 가능.

    또한, 일일과제 기능에 녹음 기능을 추가하여 수행한 과제를 통해 비대면으로도 실시간 피드백 가능

  • 라이트 아트를 추가하여 드럼 공연에 활용 : 드럼 무대에 드럼라이트를 활용해 라이트 아트를 추가하면 관객들에게 드럼 연주를 통한 청각만이 아닌 시각적 즐거움을 얻을 수 있음

소개 영상

소개 슬라이드

정보가 없습니다.

기타자료

비공개 자료입니다.

댓글