[13] HandIoT
- 한민재
- 국립인천대학교
- 작품구분일반형
- 공개여부비공개
- 카테고리생활, 기타
- 등록일2021-09-09
- 팀원(공동개발자)최준하, 조장혁, 황치현, 남궁혁, 전종현
- 출품 경진대회제17회(2021년) 인천대학교 창의적 종합설계 경진대회
- 8
- 0
- 2,224
상세설명
1. 수행배경
- 현재 집안에서 홈 IoT를 제어하는 방법의 주류는 음성인식, 스마트폰 애플리케이션을 이용하는 것이 대부분이다. 두 가지 모두 편리성, 대중성 측면에서는 높은 점수를 받지만, 음성인식이 불가능하거나 잘 안되는 사람들(장애인, 사투리, 소수민족의 언어, 부정확한 발음의 소유자)은 해당 서비스를 이용할 수 없다는 문제점이 있다. 또한 기기 음성인식 정확도의 문제가 생기기도 한다. 스마트폰의 경우 하던 작업을 중지하고 IoT 앱을 실행시켜야만 제어가 가능하다는 점에서 실용성이 떨어진다는 단점이 있다. 그러한 문제점을 해결하기 위해 손 제스처 기술에 주목하였다. 손은 대부분의 사람이 이용 가능하며 사람의 인식을 바탕으로 조절하는 경우 손짓이 더 직관적이기 때문에 수치조절보다 시간을 단축하는 장점을 가진다. 그렇기에 손 제스처를 이용한 홈 IoT 인 HandIoT를 만들기로 했다.
2. 수행기간
3. 개발작품 설명
- 뎁스 카메라를 통하여 화각 내의 사람의 손 제스처를 인식한다.
- * 딥러닝 모델 설계
- Google의 ML library인 ‘Mediapipe’의 ‘Hands’ Solution을 이용한 handtracking
- 기술을 이용해 한 동작을 30프레임 동안 촬영하여 1세트의 훈련데이터를 만들었고
- Hello, TV, Channel, Volume, On, Off, Next, Prev, OK, Light, Brightness
- 총 11개의 동작을 동작당 1,000세트의 훈련데이터를 보다 적은 데이터로
- 학습을 빠르게 할수있는 LSTM을 이용하여 딥러닝 모델을 설계하였다.
- Batch Normalization과 Dropout layer를 통한 데이터 정규화 및 Overfitting을 방지하였다.
- * 각 동작의 의미
- Hello : 시작
- TV : TV control 신호
- On, Off : TV 전원 신호
- Volume : TV Volume 신호
- Channel : TV Channel 신호
- NEXT, Prev : TV Channel updown 신호
- Light : 무드 등 연결
- Brightness : 무드 등 밝기 control
- 엄지 검지 사이 너비 : 엄지 검지 사이 너비 조절을 통하여 Volume 및 Brightness control
- * 동작 과정
- Hello->
- TV->On ->TV -> Channel -> Next, Prev
- TV->On ->TV -> Volume -> 엄지 검지 사이 너비 조절
- Light -> Brightness -> 엄지 검지 사이 너비 조절
- 과같이 control이 가능하며 OK를 통하여 Hello 단계로 돌아가게 해준다.
- * 통신
- 노트북 -> 라즈베리 파이 명령 송신
- 라즈베리 파이 -> TV IR 통신을 통해 control.
- 라즈베리 파이 -> 아두이노 블루투스 통신을 통하여 무드 등 제어
- * TV 리모컨 설계
- 라즈베리파이에 Infrared Receiver를 이용하여 TV 신호 등록
- IR 송신기를 통하여 TV에 신호 송신
- * 무드 등 설계
- fusion 360, 3D 모델링 툴을 통해 lithophane 무드등을 3D 프린팅하였으며
- 아두이노와 블루투스 모듈을 연결해 라즈베리파이와 통신
4. 활용방안
- 홈 IoT 기술을 적용할 집 실내에 카메라를 설치한 후 딥러닝으로 학습된 손동작을 통하여 IR이나 블루투스 가전제품을 제어한다.
- 추후에는 좀 더 많은 기기(에어컨, 보일러, 공기청정기)들을 제어할 수 있도록 추가적인 제스처를 학습시킨 뒤 제어할 수 있도록 한다.
소개 영상
소개 슬라이드
창의적종합설계경진대회 from ssuserdacd76