Unity Sentis 기반 Mediapipe Holistic 구현
https://velog.io/@finn00000/Unity-Sen...
프로젝트 요약 (Executive Summary)
Unity Sentis(v2.3.0)와 Unity 6.2를 활용하여, 개별 ONNX 모델(Face, Pose, Hand)을 유기적으로 파이프라이닝(Pipelining)하여 Unity 엔진 내에서 네이티브(Native)로 동작하는 Mediapipe Holistic 유사 Full Body Tracking 시스템을 구축했습니다.
Problem
Unity 환경에서 실시간 모션 캡처(얼굴, 신체, 손) 기능이 필요했지만, Sentis에서 바로 사용할 수 있는 Holistic ONNX 모델을 확보하기 어려웠습니다.
Goal
외부 플러그인이나 Python 연동 없이, Mediapipe Face, Pose, Hand 만을 사용하여 모델을 조합하고 추론 파이프라인을 직접 구축함으로써, Unity Sentis 환경에서 MediaPipe Holistic처럼 Full Body Tracking 기능을 구현하는 것을 목표로 했습니다.
프로젝트 환경
엔진 : Unity 6.2
AI 추론 : Unity Sentis(v2.3.0 Inference Engine)
AI 모델 (ONNX)
Blaze Pose Detector, BlazePose GHUM 3D Full(Landmark),
Face Mesh V2(Landmark), Blendshape V2
Hand Landmark
UI : UI ToolKit(MVVM)