1. 수행배경

점심시간에 카페테리아 식당을 이용해 본 사람이라면 줄이 길어 답답하다는 생각을 해본 적이 있을 것이다. 캐셔가 따로 없고 영양사 분이 주방 일, 결제를 동시에 진행하느라 결제가 늦고 이따금씩 실수도 하신다. 캐셔가 하는 일을 로봇이 대신한다면 결제도 빨라지고, 영양사 분도 한 가지 일에만 집중할 수 있으실 텐데 하는 생각이 들었다. 우리가 개발한 식당 무인결제 시스템을 도입한다면 위와 같은 문제점도 어느 정도 해소되고, 교내 구성원 전반의 생활 만족도가 높아질 것이라 생각하였다.

2. 수행기간

- 산단에 지원서 제출 후 기다리는 기간동안 딥러닝 스터디 진행

모두를 위한 딥러닝(김성훈 교수님): https://hunkim.github.io/ml/

< 4월 >

(1주차)

- 산단 지원서 승인 후 지원받은 금액으로 그래픽카드, 램, 파워서플라이 구입.

- 딥러닝 강의 들으며 학습 병행

(2주차)

- 기존 시스템에 지원받은 부품 조립
- 딥러닝 환경 설치(정준: Tensorflow, 진성: Keras로 구축하여 따로 학습 진행)

(3, 4주차)

- 딥러닝 튜토리얼 진행 중 정준 컴퓨터 알 수 없는 오류로 진행 안됨.
진성 컴퓨터로 프로젝트 진행하기로 함.

< 5월 >

(1주차)

- 식판 이미지로부터 ROI 추출하는 코드 구현

(2주차)

- 정준, 세운(같은 캡스턴 팀원)이 결과물을 GUI로 출력하기 위해 구축 중
(현재도 진행 중)

- 딥러닝 모델은 아직 구축 중.

(3주차)

- 딥러닝 모델 구축 완료, 딥러닝 모델 학습과, 임의로 넣은 음식 이미지를
제대로 분류하는 것까지 확인.

(4주차)

- 앞서 만든 ROI 추출 코드와 딥러닝 모델의 판별부를 하나의 코드로 병합.
식판 이미지로부터 그 위에 무슨 음식들이 구분해내는 과정을 코드 하나로
처리.

< 6월 >

(1주차)

3. 개발작품 설명

(2) 작품 구성 요소

입력부

- 웹캠

1) 웹캠으로 식판 촬영

2) 촬영된 식판 이미지를 jpg 포맷의 파일로 저장

- 학습 할 이미지 다운로드

1) 크롬 웹브라우저 플러그인의 기능을 활용해 구글 이미지에서 해당 음식에 대한 이미지들을 대량으로 다운로드, 이후 각 음식에 대한 양질의 이미지를 104장씩 추출

처리부

- 영상처리

1) 웹캠으로부터 저장 된 이미지를 전처리

2) 음식 부분을 관심영역(ROI)으로 지정하여 추출

- 딥러닝

1) 딥러닝 모델 학습을 위한 이미지 데이터셋 생성

2) 생성 된 데이터 셋을 1500번 반복하여 딥러닝 모델 학습, 학습이 끝난 모델을 저장

출력부

- GUI

1) 처리부에서 생성된 음식 사진들을 미리 학습 된 딥러닝 모델에 입력
2) 딥러닝 모델이 입력받은 이미지가 무슨 음식인지 판별

3) 판별 된 음식의 이름, 개별 가격, 총액을 GUI에 출력, 사용자가 모니터로 확인

4. 활용방안

멘도롱또똣 팀의 순수 시스템 구축 비용: 약 70만원 (GPU의 가격이 제일 높은데, 매일 신메뉴를 신경망 모델에 추가하지 않는 이상 쓰일 일이 거의 없음. 필요할 때 마다 소정의 금액만 받고 학습모델을 업그레이드 하는 방식으로 사업 진행.)

캐셔 고용비: 월 약 1,397,520원 (최저시급으로 매일 일할 때의 한 달 월급)

2) 대기 시간 감소 (쾌적한 환경 조성)

캐셔가 계산하는데 걸리는 시간: 평균 20.2초 (20번 측정 평균값)