실시간 객체 및 글자인식을 이용한 식재료 관리 어플리케이션
- 김찬희
- 인천대학교
- 작품구분일반형
- 공개여부비공개
- 카테고리정보, 전자, 웹/앱, 생활
- 등록일2023-01-06
- 팀원(공동개발자)김찬희, 변해린, 윤정희
- 출품 경진대회미신청
- 1
- 0
- 787
상세설명
1. 수행배경
- 유엔 환경 계획(UN Environment Programme) 조사에 따르면 일반가정의 음식물 쓰레기 배출 비율이 61%로 가장 높으며 이로 인한 배출된 음식물 쓰레기 양이 2019년 기준으로 9억 3100만톤에 달한다.
- 음식물 쓰레기 주된 원인 중 하나는 냉장고 속 방치된 식자재로 이를 방지하기 위한 식자재 관리 방법이 필요한 것으로 간주되어진다고 발표했다.
- 이를 바탕으로 일반 가정에서도 스마트하고 간편하게 식자재를 관리할 수 있는 어플리케이션이 필요하다고 생각한다.
2. 수행기간
- 브레인 스토밍 및 아이디어 선정 : 9월
- 이미지 데이터 수집 및 라벨링 : 10월~ 12월
- 데이터 학습 : 1~3월
- 데이터베이스 구축 : 3월
- 서버 개발 : 4월
- 안드로이드 개발 : 4월
- 최종 테스트 : 5월
- 최종 작품 완성 및 발표 : 5월 말
3. 개발작품 설명
- 객체 인식 및 글자 인식을 이용한 식품 등록
- Yolov4-tiny와 darknet으로 학습시킨 모델을 사용하여 모바일에서도 Real-time object detector가 잘 동작하도록 구현
- 실제 사용 시나리오와 유사한 데이터 셋을 이용하여 fine tuning 진행
- ML Kit로 인식한 문자들 중 식품명과 유통기한만을 정확하게 추출
- 식품 정보 확인
- DB에 연동된 식품들을 불러와 유통기한까지의 D-day 확인, 수량 변경 및 삭제, 정렬 가능할 뿐만 아니라 사용자가 설정한 유통기한 임박 기준에 해당하는 식품들을 상단에 붉은 색으로 표시
- 레시피 추천
- 사용자의 DB에 저장되어 있는 식자재를 바탕으로 코사인 유사도를 활용하여 score가 높은 순으로 레시피를 추천
- push 알림
- 유통기한 임박 알림을 통해 사용자에게 한 번 더 상시시켜 주는 용도
4. 활용방안
- 이미지 불러오기, 크롭하기, 전송하기 등의 번거로운 과정 없이 한 번의 실시간 촬영만으로 식품명과 유통기한을 자동으로 추출하여 사용자의 번거로움을 해소할 수 있다.
- 냉장고 속 식자재의 유통기한 임박 시 push 알림 기능을 통해 사용자에게 상기시켜 줌으로써 방치되어 버려지는 음식물 쓰레기 양을 줄여 환경보호에 기여가 가능하다.
- 언제 어디서든 모바일 앱을 통해 편리하고 용이한 식자재 관리가 가능하다.
소개 영상
소개 슬라이드
정보가 없습니다.
기타자료
비공개 자료입니다.