1. 수행배경

• 기존의 마트는 계산대가 존재하여 사람이 많은 경우 계산대에서의 병목이 발생함.
• 특히 명절과 같이 사람이 특히 몰리는 시기에는 30분 이상의 대기시간이 발생하기도 함.
• 인건비 절감과 효율성을 이유로 무인 계산대가 널리 도입 되었지만, 사용자의 미숙함, 여전한 일정 수준 이상의 상주 직원 필요 등의 문제로 병목도 해결되지 않고, 여전히 상주 직원들이 존재함.
• 고객 입장에서도 병목으로 인한 대기뿐만 아니라, 근본적으로 계산대라는 시스템은 장바구니에 물건들을 담았다가, 꺼내어 계산 후 다시 담는 번거로운 과정을 거침.
• 우리 생활 속에서 자연스럽게 여겨졌던 상술한 문제들을 해결하고자 스마트 카트를 제안하고자 함.

2. 수행기간

3. 개발작품 설명

소프트웨어

• 앱
  • 모바일 애플리케이션 구조: React Native, Expo, TypeScript 기반 단일 코드베이스로 Android/iOS용 22개 화면을 구현하고, expo-router와 기능별 Context를 활용해 화면 전환 및 상태를 독립적으로 관리함.
  • 회원 인증 및 세션 관리: 이메일 6자리 인증 후 가입하도록 구성하고, 액세스/리프레시 토큰을 SecureStore에 암호화 저장하며 토큰 만료 시 중복 재발급을 방지하면서 자동 갱신/요청 재시도를 수행함.
  • 카트 연결 및 실시간 장바구니 동기화: QR 또는 카트 번호로 사용자와 카트를 독점 연결하고, 1회용 인증 티켓 기반 SSE로 버전이 포함된 전체 장바구니 상태를 실시간 동기화하며 연결 해제 시 지수 백오프로 자동 재연결함.
  • 상품 탐색 및 매장 위치 안내: 서버 상품 데이터와 앱의 매대, 아이콘, 할인 UI를 결합하고 SVG 기반 매장 지도와 상품 위치 안내를 제공하며, 목록 가상화, 이미지 캐싱, 스켈레톤, 로컬 저장을 통해 대용량 및 저속 네트워크 환경에서도 빠르게 탐색하도록 구현함.
  • 결제 및 주문 완료 처리: 토스페이먼츠를 앱 내부 WebView와 연동해 결제 결과를 직접 처리하고, 앱 종료 후에도 미결제 주문을 복구하며 결제 완료 시 출구 게이트용 1회성 QR 토큰과 저장 가능한 영수증 이미지를 제공함.
  • 접근성 중심 화면 설계: 일반/노약자용 디자인 토큰을 분리하여 글자, 터치 영역, 목록 구조를 확대하고 WCAG AA 대비 기준을 적용하며, 상품 등록 시 고품질 한국어 TTS로 음성 안내를 제공함.
  • 관리자 기능: 관리자 전용 라우팅과 권한 검증을 적용하여 동일 앱에서 상품 등록·가격 및 판매 상태 수정, 주문 조회, 매대 배치 편집 기능을 안전하게 제공함.

• 서버
  • 물리 서버 구현: Nvidia jetson agx를 서버로 사용하기 위해 물리 서버를 구축하며, docker container를 통해 서버 및 db를 구성함.
  • Spring Boot, FastAPi로 각각 서비스 서버와 ai 서버를 구성하였으며 MySQL, Minio, Redis를 활용하여 데이터를 저장함.
  • 카트 연동: mqtt 연결을 통해 서버와 연결되며 스프링 서버에서 mqtt 이벤트를 감지 하여 정해진 로직에 맞게 처리함.
  • 실시간 장바구니: Redis에 저장하여 사용자들의 정보를 유지함. 2시간의 ttl 설정으로 사용자가 지우지 않는 데이터의 자동 정리 기능도 구현함.

하드웨어

• 카트
  • 바코드 인식 모듈(GM65 바코드 리더): 카트 손잡이의 바코드 리더가 상품 바코드를 인식해 UART로 ESP32-S3에 전달하여, 상품을 담는 동시에 스캔과 계산이 이루어지도록 구현함.
  • 카트 정지 모듈(E18-D80NK IR 센서 + DS3218MG 서보모터): E18-D80NK IR 센서가 매장 구역의 경계선을 감지하면 DS3218MG 서보모터 2개가 바퀴를 물리적으로 눌러 카트를 자동 정지하도록 구현함.
  • 제어 및 통신 시스템(ESP32-S3): 바코드 인식, Wi-Fi 통신, 경계선 감지, 서보 제어를 통합하고, 스캔값을 암호화된 MQTT로 전송하며 고유 ID를 통해 중복 상품 등록을 방지함.

• AI 게이트
  • 제어 및 통신 시스템(라즈베리파이5): 계산 완료 후 영수증 바코드 인식 시 OV9726 USB 720p 카메라 2대로 카트를 촬영하고, 이미지를 AI 서버로 전송함. AI 서버에서의 output을 수신하여 XPT2046 SY4008-125G 디스플레이로 PASS 여부를 출력함.
  • AI 판독 시스템(YOLO11n): 실시간 객체 탐지 모델인 YOLO11n을 baseline으로 하여, 직접 구축한 물품 데이터셋으로 미세 조정하고, 2대의 카메라의 calibration 최적화를 진행하였고, AP@50: 약 91%를 달성함. 이후 비젼 모델에서 나온 출력을 바탕으로 판정 가능한 자체적인 판정 알고리즘을 구축함.
    • 데이터셋은 마트 물건 DB에 구축할 물건 리스트들에 대하여 직접 물건을 촬영한 후, 카트를 배경으로 하여 많은 물건들이 중첩되고, 흐리게 보이기도 하는 등의 열악한 환경을 포함한 다양한 시나리오의 데이터를 증강하여 활용함.

4. 활용방안

• 사람이 붐비는 대형마트의 흐름 개선과 고객 경험 개선을 위하여 기존 카트에 애드 온 방식으로 모듈 추가
• 원하는 물건의 경로 찾기 등 부가 기능 사용 및 추가 가능
• 마트 운영에 있어서 효율적인 인력/매장 관리 가능