dot（Deepfake Offensive Toolkit）使虛擬攝像頭實現(xiàn)實時、可控的深度偽造。dot用于執(zhí)行銀行身份驗證或視頻會議系統(tǒng)等場景的滲透測試，適用群體包括安全分析師、Red Team成員和生物識別研究者。
該項目創(chuàng)建僅6天已經(jīng)收獲了1.9k的Star。
- 項目地址：https://github.com/sensity-ai/dot
- 開源協(xié)議：BSD-3-Clause
dot的開發(fā)僅用于研究和展示目的。作為終端用戶，你有責(zé)任在使用該項目時遵守所有的適用法律。項目作者和貢獻(xiàn)研究者對濫用該項目或使用時導(dǎo)致自身受到損害不負(fù)責(zé)任。
工作原理
簡言之，dot的工作原理如下。
__________________ _____________________________ __________________________ | your webcam feed | -> | suite of realtime deepfakes | -> | virtual camera injection | —————— —————————– ————————–
dot支持的所有深度偽造不需要額外訓(xùn)練，它們可以實時地用在一張照片上，這張照片成為人臉模擬的目標(biāo)。支持的技術(shù)如下：
- 人臉互換（通過SimSwap），分辨率為224和512。還可以選擇人臉超分辨率（通過GPen），分辨率為256和512。
- 更低質(zhì)量人臉互換（通過OpenCV）。
- FOMM（First Order Motion Model，用于圖像動畫的一階動作模型）。
安裝
安裝預(yù)要求
Linux系統(tǒng)：
sudo apt install ffmpeg cmake
MacOS系統(tǒng)：
brew install ffmpeg cmake
創(chuàng)建Conda環(huán)境
GPU支持（推薦）
conda env create -f envs/environment-gpu.yamlconda activate dot
CPU支持（速度慢，不推薦）
conda env create -f envs/environment-cpu.yamlconda activate dot
安裝dot
pip install -e .
下載模型
下載模型權(quán)重時有如下兩種選擇。
- GDrive：從https://drive.google.com/drive/folders/1FX1QoXragN4aKJZFo2DLiDE8fqKHeXEB中下載文件夾、解壓縮并將該文件夾放在庫的根目錄中。
- gdown：運(yùn)行如下命令：
gdown https://drive.google.com/drive/folders/1FX1QoXragN4aKJZFo2DLiDE8fqKHeXEB -O ./saved_models –folder
用法
運(yùn)行dot
運(yùn)行dot –help以獲得可用技術(shù)的完整列表。
1.Simswap
dot –swap_type simswap –target 0 –source “./data” –parsing_model_path ./saved_models/simswap/parsing_model/checkpoint/79999_iter.pth –arcface_model_path ./saved_models/simswap/arcface_model/arcface_checkpoint.tar –checkpoints_dir ./saved_models/simswap/checkpoints –show_fps –use_gpu
2.SimSwapHQ
dot –swap_type simswap –target 0 –source “./data” –parsing_model_path ./saved_models/simswap/parsing_model/checkpoint/79999_iter.pth –arcface_model_path ./saved_models/simswap/arcface_model/arcface_checkpoint.tar –checkpoints_dir ./saved_models/simswap/checkpoints –crop_size 512 –show_fps –use_gpu
3.FOMM
dot –swap_type fomm –target 0 –source “./data” –model_path ./saved_models/fomm/vox-adv-cpk.pth.tar –show_fps –use_gpu
4.FaceSwap
dot –swap_type faceswap_cv2 –target 0 –source “./data” –model_path ./saved_models/faceswap_cv/shape_predictor_68_face_landmarks.dat –show_fps –use_gpu
控制dot
使用來自./data文件夾中的源圖像，通過以上任何方法都可以在輸入視頻feed上生成實時的深度偽造。這里使用SimSwap技術(shù)進(jìn)行展示。
當(dāng)運(yùn)行dot時，可用控制選項（control options）的列表出現(xiàn)在終端窗口上，如上圖所示。你可以通過按相關(guān)的控制鍵來切換和選擇不同的源圖像。如下demo視頻幫助你更好地理解控制選項：
更多細(xì)節(jié)內(nèi)容請參閱原項目。
