1. 수행배경

시각 장애인들은 일상생활을 함에 있어서 일반인들에 비해 모든 것이 불편하고 항상 위험에 노출되어 있습니다. 예를 들면 길을 걷다가 지팡이로 물건을 인지하지 못하고 걷다보면 충돌 위험이 있고 일상생활에서 다른 사람과 대화를 함에 있어서 상대의 표정을 통해 감정을 인지하지 못 하여서 대화의 분위기를 파악하지 못 하게 되고 그러다보면 점점 사회활동이 힘들어집니다.

이러한 문제점들을 해결하기 위해서 저희는 “딥 러닝을 이용한 시각장애인 보조기구”를 선택하게 되었습니다.

       

2. 수행기간

3. 개발작품 설명

가. 기술적 내용

※  안경 캠을 이용하여 Deep Learning 에 쓰일 Training Set을 추가적으로 생성해줍니다.

※  안경 캠을 이용하여 생성한 DataSet과 Google Open Dataset을 기반으로 GPU 그래픽 카드가 탑재된 PC를 이용하여

      Deep Learning Model을 학습시켜줍니다.

※ PC를 이용하여 완성된 Deep Learning Model을 Jetson Tx2 보드에 입력해줍니다.

※ 완성된 Deep Learning Model이 탑재된 Tx2 보드에 안경 캠을 연결 한 뒤에 사용자가 원하는 장면의 상황을 설명해줍니다.

      

나. 수행방법

※ Object Classification이 가능한 DeepLearning Model을 만들기 위해선 많은 양의 DataSet이 필요합니다.

※ 직접 안경캠을 착용하여 촬영한 Image와 Google open dataset을 이용하여 Training 시켜줍니다.

※ Training 과정에서 일반 PC의 CPU로는 할 수 없는 작업량이기 때문에 Vector 연산이 가능한 GPU를 가지고 있는 PC에서

     ​Training을 시켜줍니다.

※ PC에서 완성 시킨 Model을 실제 휴대하며 이용할 Jetson TX2 보드에 Copy 해줍니다.

※ Jetson TX2는 DeepLearning Model을 가지고 있기 때문에 안경캠과 Tx2를 USB를 통해 연결을 하여 안경캠으로부터 들어오는

     이미지를 사용자가 원할 때 마다 Input으로 받아 classification을 해줍니다.

※ classification을 통해 나온 Output을 이용하여 그 이미지에 맞는 내용을 text화 하여줍니다.

※ text화 된 내용을 translate해준 뒤 TTS를 통해서 음성으로 한글을 지원해줍니다.

4. 활용방안

※ 기존의 영상 처리 기술을 뛰어 넘는 딥 러닝 기술을 통해 높은 물체 인식률과 인식 속도를 향상시킴

※ wearable한 디자인으로 휴대성을 높임

※ 사용자의 시야에 맞추어 주변 환경을 인식할 수 있게 도와줌

※ 장애물 여부 판단이 아닌 물체를 인식하여 사용자 스스로 위험 요소를 인지할 수 있음

※ 상대방의 표정을 인식하여 시각장애인의 의사소통의 질을 향상시킬 수 있음

※ 시각장애인의 삶의 질을 향상시키는 것에 도움을 주는 보조 도구로 이용 가능