본문 바로가기

Media-Pipe를 이용한 Virtual Piano

  • 김용준
  • 인천대학교
  • 작품구분일반형
  • 공개여부공개
  • 카테고리정보, 전자, 의료, 게임, 기타
  • 등록일2022-06-19
  • 팀원(공동개발자)김용준, 이정민, 김준혁, 류지수
  • 출품 경진대회인공지능 파이 프로젝트

상세설명

1. 수행배경

  • 일반적인 밴드 상황에서 건반은 다른 기타와 같은 악기와 다르게 휴대성이 떨어져 공간에 제약이 많음
  • 카메라만 있으면 수행할 수 있는 Media-Pipe의 Hands Detection을 이용하여 가상의 건반을 만들 수 있다면 건반의 공간의 제약을 부수고 어디서든 건반을 연주 할 수 있을 것이다. 

2. 수행기간

  • 2022.05.23~2022.06.14 : 프로젝트 주제, 구현 내용 확정
  • 2022.06.15~2022.06.17: 코드 구현, 프로젝트 완성
  • 2022.06.18~2022.06.19: PPT, 동작영상 제작

3. 개발작품 설명

  • Media-Pipe를 이용하여 Hands Detection을 수행, 손가락이 누른 가상의 건반 음을 출력
  • 소켓 통신을 이용한 라즈베리 파이와 컴퓨터 간의 통신, 누른 건반을 GPIO에 연결된 LED로 표현
  • 음성인식(STT)을 이용하여 원하는 노래의 악보를 LCD에 출력

4. 활용방안

  • 무거운 건반 장비 없이 웹캠만 있으면 어디서든 피아노 연주가 가능
  • 지속적인 손가락 움직임을 통한 치매 예방 기능 
  • 나오는 악보를 따라 피아노를 연습 가능, 리듬 게임으로도 활용 가능

소개 영상

소개 슬라이드

기타자료

댓글