1. 수행배경

• 연주를 하는데 있어서 페이지터너를 고용하려면 연주 때마다 고비용이 들고 연주자가 페이지터너와 합을 맞춰봐야하는 어려움이 있다.
• 기존의 자동 페이지터너는 페달을 사용하기 때문에 피아노에 부적합하여 음인식을 이용한 자동 페이지터너를 만들 고자 하였다.

2. 수행기간

• 영상처리팀 : 이미지전처리(6월~7월초), 음표인식(~7월말), 음계매칭(~8월말)
• 음성처리팀 : 오디오스트림(6월말), 오디오실시간인식(7월 첫주), 주파수분석 및 음인식(~7월말), 음튜닝(8월중순), 음매칭(8월 말)
• 전체회의 및 조합 : (6월중순 ~ 9월초)

3. 개발작품 설명

1. 기능 설명

마이크를 통해 입력받은 악기소리를 음인식하고, 화면에 출력되는 악보를 영상처리하여, 각각 계이름을 받아와서, 올바르게 치는지 매칭여부를 판단하여 끝마디 한마디전에 도달하게 되면, 악보를 자동으로 넘겨준다. 해당 제품에서는 두가지모드로 나누어 연주자모드와 연습모드가 있다. 연주자 모드의 경우 틀리더라도 곡의 완주에 중점을 두어 각 페이지에 끝마디에 도달하면 악보를 무조건 넘겨준다. 반면 연습모드의 경우는 틀린경우에 해당 음을 제대로 치기전까지는 넘어가지 않는다. 또한 실제 모니터에 틀린부분에 사각형으로 체크를 해주어 내가 어디를 틀렸는지 알수 있다

 2. 구현 방법

해당기능을 구현하기위해 악보영상처리, 악기소리인식, 음매칭 3가지로 나누었다.

      else if. 프로페셔널 모드 : 틀린 부분 다음 부분부터 비교하면서 넘어간다.
      음표 인식은 템플릿 매칭과 blob detection을 이용하여 음표를 인식하였다. 그다음 이들의 위치를 계산하여 계이름과 매칭하고 화음을 묶어주어 하나의 리스트로 만들었다.

     두번째 음을 인식하는 과정으로 소리의 경우 실시간으로 소리를 받아와 버퍼에 저장하고, 버퍼에 데이터가 들어오면 데이터의 진폭을 Rmse함수를 이용하여 계산한다. Rmse값을 가지고, 작은 노이즈를 분류해 음이 들어왔을때만 소리를 인식한다. 실제음이 들어온 순간에 STFT(푸리에변환)을 진행하고, 푸리에 변환을 통해 나온 주파수 영역에서 하모닉 주파수를 감쇄시킨다. 마지막 단계로 후처리된 주파수 데이터를 가지고 rmse의 양에 따라 임계값을 계산하여 임계값을 넘는 주파수를 소리로 인식하여 유효 주파수에 해당하는 음을 리스트로 실시간으로 내보내준다.

    마지막으로 thread를 이용하여 실시간으로 들어오는 음 데이터 분석과/ 악보의 음과 실제 받아온 음을 비교하는 것을 동시에 실행한다. list로 만들어진 악보의 데이터를 3개로 묶고, 실제 들어온 음을 묶은 list의 첫 음과 비교한다. 매칭알고리즘으로 if 두 음이 일치하면 맞는 음으로 간주한다. else if. 두 음이 일치하지 않으면 음을 틀린 것인지, 연주하지 않은것인지 판단한다. 연주모드에 대해서에 작동방식은 if.연습 모드 : 판단이 되었다면 악보에 틀린 부분을 표시한 후, 맞는 음이 들어올 때까지 대기하며,
      else if. 프로페셔널 모드 : 틀린 부분 다음 부분부터 비교하면서 넘어간다.​

 

3. 장점
     기존에 있던 패달형 자동 페이지터너는 발을 사용하는 연주자는 사용할 수 없다. 보통 페이지터너를 사용하는 피아니스트들나 여러 연주자들에게는 음인식을 하여 자동으로 악보를 넘겨주는 우리의 페이지터너가 더 적합하다고 볼 수 있다.

     기존에 있던 패달형 자동 페이지터너는 발을 사용하는 연주자는 사용할 수 없다. 보통 페이지터너를 사용하는 피아니스트들나 여러 연주자들에게는 음인식을 하여 자동으로 악보를 넘겨주는 우리의 페이지터너가 더 적합하다고 볼 수 있다.​

 

- 활용 방안

  1. 연주회에 공연에서 전문적인 인력인 페이지터너를 대신하여 연주 공간에서 활용가능하다.
  2. 학원이나 개인연습 공간에서 페이지를 넘기지않고 연습을 하는데 활용가능하다.
  3. 심화해서 앱을 연동하여 평소에 틀리는 부분을 기록해서 저장하고, 평소에 자주 틀리는 부분을 통계적으로 나타내어 취약점을 분석할수 있다.​