본문 바로가기

Flex sensor를 이용한 수화번역 스마트 웨어러블 기기

  • 이수정
  • 인하대학교
  • 작품구분일반형
  • 공개여부비공개
  • 카테고리전자, 전기, 기계, 웹/앱, 생활
  • 등록일2019-08-03
  • 팀원(공동개발자)서재진,이하영,이도연,김예원
  • 출품 경진대회제11회 인하종합설계경진대회

상세설명

1. 수행배경

수화는 손의 움직임을 사용하여 표현하는 시각언어로, 농인들의 일차 언어입니다. 통계청 자료에 의하면, 청각 및 언어장애를 가지고 있는 사람들의 의사소통 방법 중 수화의 비율은 45.4%로 높은 비중을 차지하고 있습니다. 하지만 수화는 언어를 공유하지 않는 사람과의 의사소통에 한계를 지닙니다. 실제로 청각장애인을 대상으로 이루어진 가지고 있진 않지만 필요한 보조공학기기설문조사에서 의사소통 보조기기가 2번째로 높은 비중을 차지했습니다. 이렇듯 의사소통 보조기기에 대한 청각장애인들의 필요를 충족하고, 수화를 모르는 사람도 수화를 사용하는 사람들과 원활한 소통을 할 수 있도록 사회적 약자를 위해 수화번역 장갑을 고안하였습니다. 또한 기존 수화번역 장갑은 사람마다 다른 손의 크기나 수화 움직임 정도를 반영하지 못하여 적절한 번역을 이루어내는 데 문제점을 지니고 있었습니다. 저희 프로젝트는 이러한 문제점을 데이터 서버에 여러 사람의 데이터 값을 입력하여 빅데이터화 시키는 방법을 통해 번역에 나타나는 오차를 최소화하여 보편적으로 사용하기 용이한 수화번역 장갑을 제작하고자 합니다.

2. 수행기간

구분

추진내용

추진일정

5

6

7

8

9

계획

아이디어 회의 및 구상

 

 

 

 

 

분석

자료 수집 및 필요 물품 구매

 

 

 

 

 

설계

딥러닝 기반 데이터베이스 설계

 

 

 

 

 

코드화 전용 언어 시스템 설계

 

 

 

 

 

개발

수화 움직임에 따른 데이터 값 코드화

 

 

 

 

 

LCD 모듈을 이용한 코드 문자화

 

 

 

 

 

무선통신 및 앱 개발

 

 

 

 

 

테스트

다양한 조건의 실험자 대상으로 테스트

 

 

 

 

 

종료

수화자에 따른 차이 보완 & 기능향상

 

 

 

 

 

오프라인

미팅계획

매 달 정기적인 미팅 계획

 

 

 

 

 


3. 개발작품 설명

  • 주요기능 및 적용기술

구분

기능

설명

H/W

수화 움직임 인식

Flex 센서와 가속도 센서, 자이로 센서를 이용하여 수화자의 수화 움직임에 따른 데이터 값을 얻는다.

S/W

움직임에 따른

데이터값 코드화

mcu로 받은 데이터 값을 코드화하여 특정 알파벳으로 인식하도록 한다.

S/W

문자화된 수화 표시

인식된 알파벳의 번역 내용을 LCD 모듈에 표시하여

수화를 문자데이터로 나타낸다.

S/W

음성 통역

번역 내용을 비 수화자의 스마트폰 어플에 전송하여 텍스트를 음성 신호로 변환한다. 이를 통해 비 수화자와 수화자가 원활한 의사소통을 하도록 돕는다.

S/W

딥러닝

사람마다 나타나는 손 크기의 차이와 수화 움직임 차이에 따른 오역을 최소화하기 위해 딥러닝 기반의 데이터베이스를 설계하고 다양한 케이스에 따른 데이터 값들을 입력하여 빅데이터화 한다.  



4. 활용방안

  • 청각장애 및 언어장애인은 관공서, 은행 등을 방문했을 때 수화를 이용한 의사소통에

    어려움이 있어 필담을 이용한 의사소통을 주로 이용합니다. 하지만 이러한 의사소통에는 많은

    시간이 소요됩니다. 실제로 관공서와 금융 기관의 이용 편의를 위해 우선적으로 필요한 지원

    통계 조사에서 1순위로 수어 통역사 배치, 2순위로 직원들 수어 교육을 뽑았을 정도로

    수화를 이용한 의사소통이 수화 사용자와 비 수화 사용자 간에 필요합니다. 스마트 장갑을

    실용화한다면 스마트폰에 어플만 깔아도 장갑을 착용하고 수화를 하였을 때 이를 바로 번역

    해서 음성으로 나타낼 수 있으므로 굉장히 실용적일 것이라 생각합니다.

     

  • 수화번역 장갑은 손의 움직임 데이터를 받아 컴퓨터에서 인식하는 방식입니다. 이와 같은

    센서를 이용해 움직임을 읽는 방식은 더 나아가 원격 수술이나 가상현실 등 다양한 분야에도

    접목 가능할 것이라고 예상합니다.

소개 영상

소개 슬라이드

정보가 없습니다.

기타자료

댓글