Project. Real Time Deep Fake

Real-time Deep Fake

• 실시간 Deep Fake 기능 구현

Deep Fake

• Input과 style 이미지의 keypoint 매칭을 통해 Deep Fake 수행
• 웹캠을 통한 실시간 처리가 가능하게 처리

Model

• Model은 크게 face detection, Face Keypoint matching 으로 구분되어짐.
• (1) MTCNN을 통해 User의 Face를 detection.
• (2) detection된 User Face와 입히고자 하는 style 이미지와의 keypoint matching 수행
• (3) keypoint matching 수행 후 Calibration 수행
• (4) 실시간으로 Input의 keypoint 위치가 달라질때 style의 keypoint가 달라지게 출력

Result

Limitations

• 처음 Calibration을 설정한 뒤 만약 User가 카메라와 멀어지게 되면 다시 Calibration을 수행해야하는 문제점 존재.
• 유저의 거리정보를 받아 실시간으로 측정해 자동으로 Calibration을 수행하게 처리해주는 기술이 필요.