1. 수행배경

바쁜 시대를 살아가는 현대인들에게 건강한 치아관리를 위한 솔루션입니다. 일반인들은 자신의 치아 상태에 대해서 관심 있게 보지 않는 경우가 대부분입니다. 대부분의 경우 자신의 치아에 통증이 생겨야 비로소 치과를 방문하게 됩니다. 이때는 충치가 이미 진행이 많이 된 상태일 경우가 높습니다. 많은 비용과 많은 시간을 소모되며, 치아를 발치하는 경우까지 이어 질 수 있습니다. 또 한 어린 아이들에게 치과는 상당히 무섭게 느껴 질 수 있습니다. 아이들에게 친근하고 쉽게 호기심 유발 가능한 치아 교육도 가능 할 것으로 예상됩니다. 이러한 이유로 집에서 사용자의 치아 상태를 카메라로 확인하고 충치를 판단해주는 플랫폼을 개발할게 되었습니다. 

2. 수행기간

2.1 하드웨어 구성

2.1.1 GPU

방대한 양의 자료를 이용하여 학습 모델을 생성할 때, 효율을 위해 GPU가 탑재된 Nvidia jetson TX2 보드를 이용합니다.

2.1.2 카메라

분류해야할 영상을 촬영하는 카메라를 GPU에 연결합니다.

2.1.3 모니터

분류 결과를 출력할 모니터를 GPU 역할을 할 보드에 HDMI를 통해 연결합니다.

2.2 데이터 수집

2.2.1 인터넷 이용

여러 검색 엔진에서 관련 이미지를 검색하여 그 결과를 저장합니다.

2.2.2 직접 수집

치과 등 충치에 관련된 이미지를 직접 소장하고 있을 만한 곳에 협조를 구하고 잡지나 사진과 같은 매체를 통해 전달받습니다.

2.3 데이터 학습 실험

2.3.1 코드 작성

C와 CUDA로 구현된 neural network framework를 이용하여, 학습 모델 실험을 진행합니다.

2.3.2 학습 모델 생성 실험

2.3.1에서 작성한 코드를 GPU에 옮겨 학습모델을 생성합니다. 충치 이미지에 비해 구하기 쉬운 자동차 이미지들을 통해 영상 속 자동차 분류기를 먼저 생성해봅니다.

2.3.3 학습 모델 생성 실험 결과 관찰

2.3.2에서 생성된 학습 모델에 자동차를 담고 있는 영상을 입력 보았을 때, 그 자동차를 분류하는지, 분류한다면 어느 정도의 정확도를 가지는지, 자동차의 찍힌 각도, 형태 등에 분류 결과가 구애받는지, 2.3.2에서 학습시킨 이미지의 양은 적당했는지를 관찰합니다. 결과가 만족스럽지 못하다면, 2.3.1부터 지금까지의 과정을 검토합니다.

2.4 충치 데이터 학습

2.4.1 코드 작성

2.3.1에서 활용한 neural network framework를 활용하여 충치진단에 알맞은 인공신경망으로 수정합니다. 이 때, 단순히 건치와 충치를 분류하는 모델이 아닌, 충치 중에서도 진행 정도에 따라 분류할 수 있도록 세부적인 기준을 설정합니다.

2.4.1 충치 이미지 학습

2.3에서 만족할 만한 결과를 내준 학습 모델에 충치 이미지를 학습시킵니다. 적어도 2.3.2에서 이용한 자동차 이미지의 수만큼 충치 이미지도 준비합니다.

2.4.2 학습 결과 관찰

건치와 충치를 구분하는지, 그렇다면 2.4.1에서 생성한 기준들에 맞게 분류되는지 관찰합니다. 결과가 만족스럽지 않다면, 2.4.1에서 지금까지의 과정을 검토하고 반복합니다. 이때 인식률, 오검출률, 실시간성을 중점으로 결과를 관찰하였습니다.

3. 개발작품 설명

 구강을 촬영한 사진으로 충치 부분을 구별하여 사용자에게 인식시켜줄 알고리즘으로 딥러닝을 활용합니다. 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘의 집합입니다. 어떠한 데이터가 있을 때 이를 컴퓨터가 알아들을 수 있는 형태로 표현 하고 이를 기계에 학습시켜 특정한 패턴을 인식하는데 탁월한 성능을 가집니다. 따라서 해당사진으로 충치를 구별할 수 있을 것입니다.

 실시간으로 촬영한 영상에 딥러닝 알고리즘을 적용하여 충치를 판단하는 하드웨어의 중추로 nvidia jetson tx2 보드를 사용합니다. 이 보드에는 일반 CPU 뿐만 아니라 GPU도 탑재되어 있기때문에 딥러닝과 같은 심층 알고리즘이 동작하기에 무리 없는 환경을 제공할 수 있습니다. 또한, 리눅스 환경에서 영상처리 라이브러리인 OpenCV, GPU를 사용할 수 있는 CUDA를 쉽게 활용할 수 있습니다.

 사용자의 구강을 관찰할 카메라입니다. 사용자가 사용했을 때 간편하고 조작하기 쉬워야 하므로 부피와 무게 모두 작은 소형을 선택하고, 해당 영상을 알고리즘이 동작할 오드로이드, NVIDIA Board로 보내야 하기 때문에 유선으로든 블루투스와 같은 무선으로든 활용할 하드웨어와 통신이 가능한 기종을 선택합니다.

나. 수행방법

4. 활용방안

 집에서 간단하게 사진을 찍어 치아의 상태를 확인 할 수 있습니다. 대부분의 사람들은 주기적으로 치과를 방문하는 경우가 드뭅니다. 집에서 간단하게 사진 촬영을 하여 충치를 판단 해주고 이를 연결된 치과에게 데이터를 전송해준다. 치아의 상태를 미리 알고 더 빠른 치료로 치아를 보호할 수 있으며 비용도 절감됩니다. 또한 어린 아이들은 치과에 대해 일반적으로 두려움을 가지고 있습니다. 따라서 아이들의 흥미를 유발하여 두려움 없이 치아 상태를 판단할 수 있을 것입니다.