01
멸균 환경에서의 핸즈프리 조작
문제
집도의는 손이 멸균돼 있어 화면·기기를 만질 수 없고, 정보를 보려면 수술을 멈추고 스태프에게 요청해야 했습니다.
접근
Vision Pro의 시선·제스처 인터랙션으로 3D 장기 모델을 손대지 않고 이동·회전·확대하도록 ImmersiveSpace를 구성했습니다.
결과
집도의가 수술 흐름을 끊지 않고 필요한 정보를 직접 불러올 수 있게 됐습니다.
HIPPO — Apple Vision Pro 수술 보조
Apple Vision Pro 공간컴퓨팅으로 집도의가 멸균 상태에서 3D 장기 모델과 수술 정보를 핸즈프리로 다루는 수술 보조 PoC입니다. 삼성서울병원과 협업해 수술실 현장에서 검증했습니다.
Overview
프로젝트 개요
수술 중 집도의는 멸균을 유지해야 해서 CT·MRI로 만든 3D 장기 데이터를 직접 만질 수 없습니다. HIPPO는 Vision Pro의 공간 인터랙션으로 이 데이터를 수술 흐름을 끊지 않고 핸즈프리로 호출·조작하도록 설계한 개념 검증 프로젝트입니다.
Role
역할과 기여
01공간 인터랙션 구현RealityKit ImmersiveSpace·ManipulationComponent로 이동·회전·확대
02도메인 아키텍처DDD 기반 환자·수술 도메인 + MVVM·Clean Architecture
03멀티플랫폼 CRUDmacOS·visionOS 3D 모델 관리
04Enterprise Entitlement인앱 녹화 이슈 해결·확보 주도
Process
문제 해결 과정
02
여러 플랫폼에 걸친 데이터 구조
문제
수술 데이터가 macOS 준비 도구와 visionOS 수술 도구로 나뉘어 일관된 모델 관리가 어려웠습니다.
접근
DDD로 환자·수술 도메인을 정의하고 MVVM·Clean Architecture로 플랫폼 간 공유 가능한 구조를 만들었습니다.
결과
macOS에서 준비한 3D 모델을 visionOS에서 그대로 활용하는 흐름을 안정화했습니다.
Domain → UseCase → ViewModel → View (DIP)
03
수술실 녹화 블랙스크린 해결
문제
Vision Pro 인앱 녹화 시 화면이 검게 나오는 시스템 제약이 있었습니다.
접근
Apple Enterprise Entitlement를 확보해 제약을 우회하는 경로를 마련했습니다.
결과
수술 장면을 정상적으로 기록하고 검토할 수 있게 됐습니다.
Results
성과
3/30
Apple Spotlight 선정 (30팀 중 3팀)
5회
수술실 현장 테스트
3회
삼성서울병원 방문 협업