1. 수행배경

• 인간-로봇 상호작용(HRI) 분야에서 로봇이나 인터페이스가 사용자의 의도를 능동적으로 파악하기 위해 시선 정보를 활용하는 연구가 활발하게 이루어지고 있다. 그러나 기존 상업용 아이트래킹 장비는 고가이고 특정 환경(모니터 앞 고정 자세 등)에서만 동작하는 한계가 있어, 실제 생활 공간이나 로봇과의 물리적 상호작용 현장에서 활용하기 어렵다.
• 본 팀은 이러한 문제의식에서 출발하여, 착용형(wearable) 저가 IR 아이트래킹 안경과 스테레오-이너셜 SLAM을 결합함으로써, 사용자가 실제 세계의 어느 3D 지점을 바라보고 있는지를 실시간으로 추정하는 시스템을 개발하고자 하였다.

2. 수행기간

• 2026년 3월 10일 ~ 2026년 10월 (약 7개월)
• 주요 단계별 일정:
  • 3월: 주제 기획 및 선행 연구 조사, 하드웨어 부품 선정 및 구매
  • 4~5월: 알고리즘 검토 및 개발 환경 구축
  • 6~7월: IR 카메라 임시 대체(RealSense D455) 테스트 및 동공 검출 파이프라인 구축
  • 8~9월: 스테레오-이너셜 SLAM(ORB-SLAM3 VI) 연동 및 시선-깊이 융합 수식 검증
  • 10월: 통합 테스트, 시각화 완성 및 경진대회 발표 준비

3. 개발작품 설명

• 작품명: 인간과 로봇의 상호작용 시스템을 위한 저가 눈동자 추적 안경 개발 (MoLBWA)
• 핵심 아이디어: 착용형 IR 카메라로 눈동자(동공)의 시선 벡터를 추출하고, 스테레오 카메라와 IMU로 머리의 6자유도(6DoF) 위치·자세를 실시간 추정하여, "사용자가 현재 세계 좌표계의 어느 3D 지점을 응시하는가"를 복원·시각화한다.
• 시스템 구성 (데이터 흐름):
  • IR 눈 카메라(OV9281) → 동공 검출(pye3d 기반 3D 안구 모델) → 시선 벡터 추출
  • 스테레오 카메라(oCamS-1MGN-U) + 내장 IMU → 스테레오 깊이 추정(StereoSGBM) + ORB-SLAM3 VI로 머리 pose 추정
  • 두 정보를 융합: p_W = T_WS · (D · K⁻¹[u, v, 1]ᵀ) 수식으로 세계 좌표상의 3D 시선 점 산출
• 하드웨어 구성: OV9281 IR 눈 카메라, 850nm IR LED + 밴드패스 필터, oCamS 스테레오 카메라+IMU, Raspberry Pi 5(엣지 처리), 데스크톱(SLAM·융합·시각화)
• 소프트웨어 구성: Python(동공 검출·제어), ORB-SLAM3(VI 모드), GStreamer RTP/UDP(저지연 영상 전송), ROS2(시선 벡터·pose 통신), 3D 시각화 모듈
• 차별점: 수십만 원대 상업 아이트래커 대비 저비용으로 구현하며, 고정된 환경이 아닌 자유로운 실제 공간에서 동작하는 착용형 시스템

4. 활용방안

• HRI(인간-로봇 상호작용): 로봇이 사용자의 시선으로 의도를 파악하여 물체를 집어주거나 작업을 보조하는 직관적 제어 인터페이스에 적용 가능
• 재활·보조공학: 손을 사용하기 어려운 지체장애인이 시선만으로 로봇 팔, 휠체어, 스마트홈 기기 등을 제어하는 보조 시스템에 활용
• AR/VR: 착용형 디바이스에서 시선 기반 UI 인터랙션, 포비에이티드 렌더링(시선 방향만 고해상도 처리)에 응용
• 산업·교육: 작업자의 시선 패턴 분석을 통한 숙련도 평가, 위험 구역 미주시 경고 시스템, 의료 수술 시뮬레이션 훈련 등에 활용 가능
• 연구 플랫폼: 저비용·오픈소스 기반으로 공개하여 다양한 HRI 및 인지과학 연구의 실험 도구로 기여 기대