DeepFake使用了什么技术,怎么那么厉害?纽约州立大学奥本尼分校教授数字媒体取证的专家 Siwei Lyu称这个DeepFakes在Github上公开的技术非常优秀,代码极其紧凑!
它依赖于一种称为自动编码器的神经网络,将图像缩小到较低维空间编码器和一个从潜在表示中重建图像的解码器组成,Deepfake通过通用编码器来利用此架构,该编码器可将人的特征编码到这个空间中,而特征包括面部特征和身体姿势的关键特性,并且还有专门针对目标特征采样建模的训练模型,这意味着只要采样足够多的数据,那么将会建立出更逼真的模拟对象!
Deepfake是怎么换脸的?
一般Deepfake的换脸会有几个过程,分别是人脸定位、转换以及图像拼接,这比较容易理解,那么具体是个什么过程呢?
人脸定位
我们日常中的人脸识别中就用到了这个技术,早期是平面的,一张照片即可被欺骗,现代人脸识别中还加入了立体识别,为了防止用硅胶面套伪造图像,最新的还有红外模式识别,也就是硅胶这种和体温有明显差异的面套就难以通过!
人脸识别
不过在Deepfake中不需要立体,也不需要红外,它主要抽取人脸的表情特征,侧重点是有差异的,因为它要建立一个运动的脸部表情数据,比如用dlib和OpenCV等主流的工具包直接抽取!如果想要更逼真的人脸的话,还需要一个强大深度模型算法!
《钢铁侠》中的女演员艾米·亚当斯(左)被修改为具有尼古拉斯·凯奇特征的视频
人脸转换
要讲抽取的人脸应用到目标脸部,那么除了保留基本特征以外还要对采样脸部和目标脸部完美结合,做到无缝连接才没有违和感,要不然人类肉眼很快就是能辨认出采样脸部和目标头部结合处的不一致!
这中间就包含了将取得的人脸图像采样成短矢量,再将此短矢量恢复到目标人脸,这些矢量元素保留了人脸的主要特征,比如眉毛浓淡、鼻子挺拔、脸部肤色以及眼睛大小比例等 。并且在这个过程中需要达到使用目标的脸部表情,但却用采用脸部表达,完美的直播换脸方式需要强大的算力,但如果是录播则可以慢慢操刀一帧一帧修!
图像拼接
人脸转换做的是否完美直接关系到表情是否生硬,但图像如果拼接不好,就像脸化妆了脖子却没有,两者生硬过度或者角度上有些不一致,很明显就能看出是伪造,因此拼接除了需要在两者之间做好过渡外,还需要追踪脸部或者身体动作,以便展示的人脸角度会目标动作一致!
(a)原始人物;(b,c) Deepfake 人物
DeepFake的衍生应用
这个技术出现时革命性的,比如当前流行的在线试穿就是最简单的应用,还在电影拍摄和后期制作中产生了极大的帮助,甚至特型替身演员都会有失业的风险,当然未来的虚拟人都有这种技术的影子 。
DeepFake的严重危害性其实Deepfake早在上世纪九十年代开始就萌芽了,在电影和数字视频中早已有应用,当然被公众关注确实是2017年Reddit上的盖尔·加朵事件!这让全世界都目睹了它的潜在危害性,因为你根本就搞不清楚正在跟你对话的人到底是你本人还是别人,因为Deepfake连声音都能模拟,请问你慌不慌?
华尔街日报2019年3月报道,犯罪分子利用Deepfake技术,冒充英国某能源公司母公司CEO的声音,成功诈骗了22万欧元!电话中这位CEO要求将资金发给匈牙利的供应商,并声称是紧急事件,要求一小时内付款,结果就是信以为真了,损失的22万欧元由保险公司 Euler Hermes(裕利安宜)集团承担,这保险公司够倒霉的!
穆罕默德·阿兹明·阿里
2019年6月13日,网上曝出马来西亚经济部长Azmin Ali与男性发生关系的视频,随后穆罕默德·阿兹明·阿里本人否认是这个视频的主角,此事轰动了马来西亚,后来被证实这不过是Deepfake技术伪造而已!
- 时尚圈|钟楚曦双马尾造型鬼马甜酷 暗黑爱心妆时尚满满
- 90㎡两室黑白灰婚房,完美改造成就动静分离
- 黑人男子之死,引发美国多地抗议暴乱,对特朗普连任有影响吗
- 理想之城里面的吴红玫,混的比樊胜美还惨,她后期会黑化吗
- 扫黑风暴在腾讯独家播放,这种形式是垄断吗
- 拼多多品牌店黑标怎么开?申请入口在哪?
- 40平方米的小户型,装修设计超自然派,黑色和木色的搭配绝了
- 177㎡极简,黑白间隔,交织丝滑空间感
- 电盾科技:防静电地板开裂什么原因?地板选购标准
- 魅惑|张雨绮着黑白亮片裙曲线完美 修身设计性感魅惑
特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
