1. 수행배경

• 현재 집안에서 홈 IoT를 제어하는 방법의 주류는 음성인식, 스마트폰 애플리케이션을 이용하는 것이 대부분이다. 두 가지 모두 편리성, 대중성 측면에서는 높은 점수를 받지만, 음성인식이 불가능하거나 잘 안되는 사람들(장애인, 사투리, 소수민족의 언어, 부정확한 발음의 소유자)은 해당 서비스를 이용할 수 없다는 문제점이 있다. 또한 기기 음성인식 정확도의 문제가 생기기도 한다. 스마트폰의 경우 하던 작업을 중지하고 IoT 앱을 실행시켜야만 제어가 가능하다는 점에서 실용성이 떨어진다는 단점이 있다. 그러한 문제점을 해결하기 위해 손 제스처 기술에 주목하였다. 손은 대부분의 사람이 이용 가능하며 사람의 인식을 바탕으로 조절하는 경우 손짓이 더 직관적이기 때문에 수치조절보다 시간을 단축하는 장점을 가진다. 그렇기에 손 제스처를 이용한 홈 IoT 인 HandIoT를 만들기로 했다.

2. 수행기간

3. 개발작품 설명

• 뎁스 카메라를 통하여 화각 내의 사람의 손 제스처를 인식한다.
• 
  
•  * 딥러닝 모델 설계
• 
  
•  Google의 ML library인 ‘Mediapipe’의 ‘Hands’ Solution을 이용한 handtracking
•  기술을 이용해 한 동작을 30프레임 동안 촬영하여 1세트의 훈련데이터를 만들었고
•  Hello,  TV,  Channel,  Volume,  On,  Off,  Next,  Prev,  OK,  Light,  Brightness
•  총 11개의 동작을 동작당 1,000세트의 훈련데이터를 보다 적은 데이터로
•  학습을 빠르게 할수있는  LSTM을 이용하여 딥러닝 모델을 설계하였다.
•  Batch Normalization과 Dropout layer를 통한 데이터 정규화 및 Overfitting을 방지하였다.
• 
  
•  * 각 동작의 의미
• 
  
•  Hello : 시작
•  TV : TV control 신호
•  On, Off : TV 전원 신호
•  Volume : TV Volume 신호
•  Channel : TV Channel 신호
•  NEXT, Prev : TV Channel updown 신호
•  Light : 무드 등 연결
•  Brightness : 무드 등 밝기 control
•  엄지 검지 사이 너비 : 엄지 검지 사이 너비 조절을 통하여 Volume 및 Brightness control
• 
  
•  * 동작 과정
• 
  
•  Hello->
• 
  
•  TV->On ->TV -> Channel -> Next, Prev
•  TV->On ->TV -> Volume -> 엄지 검지 사이 너비 조절
•  Light -> Brightness -> 엄지 검지 사이 너비 조절
• 
  
•  과같이 control이 가능하며 OK를 통하여 Hello 단계로 돌아가게 해준다.
• 
  
•  * 통신
• 
  
•  노트북 -> 라즈베리 파이 명령 송신
•  라즈베리 파이 -> TV  IR 통신을 통해 control.
•  라즈베리 파이 -> 아두이노 블루투스 통신을 통하여 무드 등 제어
• 
  
•  * TV 리모컨 설계
• 
  
•  라즈베리파이에 Infrared Receiver를 이용하여 TV 신호 등록
•  IR 송신기를 통하여 TV에 신호 송신
• 
  
•  * 무드 등 설계
• 
  
•  fusion 360, 3D 모델링 툴을 통해 lithophane 무드등을 3D 프린팅하였으며
•  아두이노와 블루투스 모듈을 연결해 라즈베리파이와 통신

4. 활용방안

• 홈 IoT 기술을 적용할 집 실내에 카메라를 설치한 후 딥러닝으로 학습된 손동작을 통하여 IR이나 블루투스 가전제품을 제어한다.
•  추후에는 좀 더 많은 기기(에어컨, 보일러, 공기청정기)들을 제어할 수 있도록 추가적인 제스처를 학습시킨 뒤 제어할 수 있도록 한다.