Deepfake
딥페이크(deepfake, 딥 러닝(deep learning)과 가짜(fake)의 혼성어)는 인공 지능을 기반으로 한 인간 이미지 합성 기술이다. 생성적 적대 신경망(GAN)라는 기계 학습 기술을 사용하여, 기존의 사진나 영상을 원본이 되는 사진이나 영상에 겹쳐서 만들어낸다.
Projects
- roop - 원클릭 딥페이크(얼굴 교체)
Documentation
- DeepFaceDrawing - Deep Generation of Face Images from Sketches
- https://www.reddit.com/r/MachineLearning/comments/gwrmf9/r_deepfacedrawing_generates_photorealistic/
- https://syncedreview.com/2020/06/04/deepfacedrawing-generates-photorealistic-portraits-from-freehand-sketches/
- https://arxiv.org/pdf/2006.01047.pdf
- DeepFaceLab
- https://github.com/iperov/DeepFaceLab
- https://mrdeepfakes.com/forums/thread-guide-deepfacelab-2-0-explained-and-tutorials-recommended
- Unique, worry-free model photos
- https://generated.photos/
- Enhance your creative works with photos generated completely by AI. Find model images through our sorted and tagged app, or integrate images via API.
- 딥러닝을 사용해, 실제로 존재하지 않는 사람 이미지를 생성한다.
DeepFake 합성 영상을 판별하는 방법
- rPPG - DeepFake 합성 영상을 분간하는 참신한 방법 | GeekNews
- (원문) AI researchers use heartbeat detection to identify deepfake videos
- 또다른 내용: To Uncover a Deepfake Video Call, Ask the Caller to Turn Sideways - 딥페이크 비디오 통화인지 알려면 고개를 돌려보라고 하세요
DeepFake 영상을 분간하는 참신한 방법이 소개된 기사를 공유합니다. (영어) 이 방법은 사람의 얼굴에서 추출한 심장박동 신호를 바탕으로 진짜 사람의 얼굴과 DeepFake를 분간합니다.
병원의 비침습형 산소포화도 측정장비나 이제는 꽤 흔해진 스마트워치 등에서 인간의 심장박동수를 재는 방법을 전문용어로 PPG(Photoplethysmography, 광혈류측정)라고 합니다. 인간의 신체에 빛을 비추면 그 빛이 흡수되는데, 이때 흡수되는 정도는 그 빛이 지나가는 경로에 있는 피부, 조직, 혈액의 부피에 비례합니다. 그런데 피부나 조직의 부피는 급격히 바뀔 일이 없지만, 특정한 위치의 혈관 속 혈액의 부피는 심장이 수축할 때는 늘어나고 심장이 이완하면 줄어듭니다. 그래서 빛이 흡수되는 패턴을 그래프로 그려, 피크 수치의 간격을 재기만 하면 그게 바로 심박수가 됩니다. 생각보다 간단하지요.
rPPG(Remote photoplethysmography, 원격 광혈류측정)는 여기서 한발 더 나아갑니다. 인간이나 카메라가 사물을 볼 수 있는 것은 어딘가에서 나온 빛이 사물에 반사되어 눈이나 카메라에 들어오기 때문입니다. 그런데 위에서 언급한 PPG의 원리를 생각하면, 살아있는 인간의 얼굴 같은 신체 부위에서 반사되어 들어오는 빛에는 아주 희미하긴 하지만 분명히 맥박 패턴을 반영한 변화가 숨어 있다고 볼 수 있습니다. 이 희미한 변화를 고도로 증폭하여 별다른 측정도구나 접촉 없이도 카메라로 찍은 얼굴 동영상만으로 심박수를 재는 것을 rPPG라고 합니다. 이 방법은 극히 미세한 얼굴빛 변화에 의존하지만, 근래의 딥 러닝을 적용한 rPPG 시스템은 압축률이 꽤 높은 얼굴 동영상에서도 이런 변화를 추출할 수 있는 것으로 알려져 있습니다.
그렇다면, 이러한 방식으로 생체 신호를 추출하면 진짜 사람의 얼굴과 DeepFake로 만들어진 얼굴을 분간할 수도 있지 않을까요? 그래서 최신 rPPG 기법을 바탕으로 DeepFake 얼굴 영상을 가려내는 실험을 한 결과에 관한 논문들이 최근 발표되었습니다. 간단히 말해서, 실제 사람의 얼굴과 DeepFake로 만들어낸 사람 얼굴에서 나타나는 rPPG 신호는 패턴이 확연히 다르며, DeepFake에 사용한 모델 종류에 따라서 추출되는 rPPG 신호 패턴도 다릅니다. 따라서 이러한 방법으로 DeepFake 영상을 분간해낼 수 있었을 뿐만 아니라, 구체적으로 어떤 모델이 사용되었는지도 상당히 높은 정확도로 알아낼 수 있었다고 합니다.