종프 주제 - 객체 감지 시각장애인 보행 보조 어플리케이션

시각장애인을 위한 스마트 글래스 기반 네비게이션 시스템 개발

프로젝트 개요

이 프로젝트는 시각장애인을 위한 스마트 글래스 기반의 네비게이션 시스템을 개발하는 것을 목표로 합니다. 이 시스템은 음성 인식, 물체 인식, 실시간 위치 추적, 진동 피드백을 제공하여 시각장애인이 보다 안전하게 길을 걷고, 위험을 피할 수 있도록 돕습니다. 또한, 머신러닝 기술을 활용하여 음성 인식 및 객체 감지 시스템을 최적화하고, 실시간으로 반응하는 스마트한 네비게이션을 제공합니다.

주요 기능

1. 음성 인식: 사용자가 목적지를 말하면, 시스템은 이를 음성으로 인식하여 경로를 안내합니다.
2. YOLO 기반 물체 인식: 장애물이나 위험 요소를 실시간으로 인식하여 시각장애인을 보호합니다.
3. 실시간 위치 추적: 시각장애인의 위치를 실시간으로 추적하고, 보호자가 이를 모니터링할 수 있습니다.
4. 진동 피드백: 장애물이나 위험을 감지하면 스마트 글래스의 진동으로 경고합니다.
5. 음성 안내 및 경고: 텍스트를 음성으로 변환하여 실시간으로 경로 안내와 경고를 제공합니다.
6. 자연어 처리 (NLP): 사용자의 음성을 분석하여 자연스럽게 목적지나 명령을 인식하고 처리합니다.

기술 스택

• AI 및 머신러닝:
  • YOLO (You Only Look Once): 실시간 물체 인식 기술을 통해 장애물 및 위험 요소를 감지합니다.
  • 자연어 처리 (NLP): Google Speech-to-Text API와 함께 음성 명령을 텍스트로 변환하고, 사용자의 목적지를 분석합니다.
• 음성 인식 및 합성:
  • Google TTS (Text-to-Speech): 목적지 안내 및 경고 음성을 합성하여 사용자에게 제공합니다.
  • Speech Recognition API: 사용자가 음성으로 입력한 목적지 및 명령을 인식합니다.
• 하드웨어:
  • 스마트 글래스: Vuzix Blade, Google Glass, Epson Moverio와 같은 기성품을 사용하여 구현합니다.
  • 센서: 초음파 센서, LiDAR, 카메라 등 장애물 감지와 위치 추적을 위한 센서를 활용합니다.
  • 진동 모터: 위험을 감지하면 시각장애인에게 진동으로 경고를 제공합니다.
• 위치 추적 및 IoT 연동:
  • GPS: 위치 추적을 위한 글로벌 위치 시스템.
  • IoT 연동: 시각장애인의 위치를 보호자와 공유하고 모니터링할 수 있습니다.

핵심 기능 구현

1. 목적지 음성 인식 및 경로 안내: 사용자가 음성으로 목적지를 입력하면, 자연어 처리(NLP) 시스템을 통해 이를 분석하고, 경로 안내를 제공합니다.
2. 물체 인식 (YOLO): 실시간으로 카메라와 YOLO 모델을 사용하여 주변의 장애물이나 위험 요소를 인식합니다. 인식된 객체는 음성 안내 또는 진동 피드백을 통해 사용자에게 경고됩니다.
3. 진동 피드백: 장애물이 감지되면 스마트 글래스의 진동 모터가 작동하여 사용자에게 위험을 알립니다. 진동은 위험의 위치나 종류에 따라 강도와 패턴을 다르게 설정하여, 시각장애인이 상황을 직관적으로 인지할 수 있도록 돕습니다.
4. 위치 추적 및 보호자 연동: GPS와 IoT 기술을 활용하여 시각장애인의 위치를 실시간으로 추적하고, 보호자가 이를 확인할 수 있는 시스템을 구현합니다.
5. 음성 안내 및 경고: 음성 합성 기술을 통해 실시간으로 경고를 전달합니다. 예를 들어, "앞에 장애물이 있습니다!" 또는 "뒤에서 사람이 다가옵니다!"와 같은 음성 안내가 제공됩니다.

기술적 고려사항

1. 하드웨어 제약: 스마트 글래스는 크기와 무게가 중요한 요소이므로, 배터리와 디스플레이에서 제약이 있을 수 있습니다. 센서와 모터를 추가하고, 효율적인 배터리 사용을 고려하여 하드웨어를 설계해야 합니다.
2. AI 모델 최적화: YOLO와 같은 실시간 물체 인식 모델은 매우 높은 처리 능력을 요구합니다. 스마트 글래스에서 실시간으로 동작하기 위해서는 모델을 최적화하거나, GPU 및 클라우드 연동을 고려할 필요가 있습니다.
3. 음성 인식 및 합성: 음성 인식 시스템은 사용자 음성을 빠르고 정확하게 분석할 수 있어야 하며, 텍스트를 음성으로 변환하는 TTS 시스템은 실시간으로 경로 안내와 경고를 제공해야 합니다.
4. 소프트웨어 연동: 스마트 글래스와 모바일 앱 간의 연동이 필요합니다. 스마트 글래스에서 감지한 위험 정보나 경로 안내를 모바일 앱으로 전달하고, 보호자가 시각장애인의 위치를 실시간으로 확인할 수 있도록 연동해야 합니다.

개발 절차

1. 백엔드 구현 (Spring Boot):
   • Spring Boot를 사용하여 RESTful API를 설계하고, 모바일 앱과의 데이터 통신을 담당합니다.
   • 위치 추적, 경로 안내, 물체 인식 데이터 등을 처리합니다.
2. 모바일 앱 개발 (React Native):
   • React Native를 사용하여 Android와 iOS에서 동작하는 네비게이션 앱을 개발합니다.
   • 음성 인식, 경로 안내, 진동 피드백, 위치 추적 기능을 구현합니다.
3. AI 모델 개발 및 통합 (YOLO, NLP):
   • YOLO 모델을 훈련하여 실시간으로 물체를 감지하고, 자연어 처리 기술을 통해 음성 명령을 인식합니다.
4. 하드웨어 및 센서 연동:
   • 스마트 글래스와 센서를 연동하여, 장애물 감지, 위치 추적, 진동 피드백을 구현합니다.
5. 테스트 및 최적화:
   • 통합된 시스템을 실제 환경에서 테스트하고, 문제를 수정하며 최적화를 진행합니다
     
     
     
     팀원 역할 분배
     1. AI & 데이터 처리 담당 (ML Engineer & Data Engineer)
        • YOLO 기반 물체 인식 모델 개발 및 최적화
        • 음성 인식(NLP) 및 자연어 처리 구현
        • 모델 경량화 및 스마트 글래스 환경에 맞게 최적화
        • AI 연산을 위한 클라우드 서버 연동
        • AI 데이터 수집, 전처리, 학습
     2. 백엔드 개발자 (Backend Developer)
        • DB 설계 및 관리 (MySQL, PostgreSQL 등)
        • Spring Boot 기반 REST API 개발
        • 사용자 데이터, 위치 정보, 로그 관리 등 백엔드 로직 구현
        • 보호자 모니터링 기능 개발 (위치 공유)
        • 스마트 글래스와 모바일 앱 간 데이터 통신 처리
     3. 프론트엔드 & 모바일 개발자 (Frontend & Mobile Developer)
        • React Native 기반 모바일 앱 개발 (Android & iOS)
        • UI/UX 설계 및 사용자 편의성 개선
        • 음성 인식 입력 UI, 경로 안내 UI 구현
        • REST API 연동 (백엔드와 데이터 주고받기)
        • 실시간 알림 및 진동 피드백 UI 개발
     4. 하드웨어 & IoT 담당 (Embedded & IoT Engineer)
        • 스마트 글래스, 센서(LiDAR, 초음파) 연동 및 제어
        • 장애물 감지 및 진동 피드백 시스템 개발
        • GPS 모듈 연동 및 위치 추적 기능 개발
        • 스마트 글래스와 모바일 앱 간 BLE/Wi-Fi 통신 구축
        • 전력 최적화 및 하드웨어 안정성 테스트
     DB 관련 주요 역할
     • 백엔드 개발자가 DB 설계 및 구축(MySQL/PostgreSQL)
     • AI 담당자가 데이터 수집 후 백엔드로 연동
     • 프론트엔드 개발자가 백엔드 API를 이용하여 UI에 데이터 표시
     • IoT 담당자는 스마트 글래스 센서 데이터를 DB에 저장하도록 백엔드와 협력
     
     
     
     
     
     
     \