oppo fdf 全维人像视频技术系统先进亮相inno day
2020年11月18日,中国,深圳—今日,oppo在以“跃迁·致善”为主题的未来科技大会2020(oppo inno day 2020)上,先进推出oppo fdf 全维人像视频技术系统,这是oppo多年美颜技术积累的一次释放,是人像美学领域的一次进化,也是5g视频时代的一次革新。
树立5g时代全场景视频美颜新标杆
影像产品经理田智坚表示“影像一直是oppo坚持并且将长期坚持的赛道,在影像产品定义上始终坚持从用户出发,为让用户拍出自然、自信、动人的人像作品,我们在内部启动了魔镜专项,在不同的城市和reno系列老用户、终端导购、人像精修师和妆容专家深入探讨他们认为拍得好的人像视频。出乎意料的是,几乎所有人都认为,好的人像视频不仅要做到人美,还要景美。基于这样的洞察,我们打造了oppo fdf 全维人像视频技术系统。当然,这也是我们在人像拍摄上一直秉承的理念 —— 让美自然生长。”
oppo fdf 全维人像视频技术系统由感知人像和画质增强两大引擎组成,分别针对人像拍摄时的人物主体和整体画面进行针对性优化,共同实现人美、景美的拍摄效果,不管是单人还是多人,白天、夜间还是逆光,都可以实现全时段视频创作自由。
拒绝千篇一律 让美更自然
感知人像引擎拥有ai人脸检测、ai超清人像、ofl肤质优化算法、人脸畸变矫正等功能,拒绝千篇一律,让拍摄的作品更自然、真实、动人。
ai人脸检测通过对网络模型的优化,实现99.78%的检测准确率和25ms的单帧检测耗时,不管是拍视频还是拍照,都能快速的检测出人脸区域,为后续脸部优化圈定精确的范围。同时,ai算法在人脸区域标记了296个关键点来实现五官和轮廓细节的区分,并加入关键点是否可见判断、人脸角度判断等辅助信息,最终在业界权威的wflw数据集上实现低至4.71%的nme,这套算法在移动平台上的运行帧率达到了200fps以上。
ai超清人像在深度神经网络模型中设计了3个子模块对人脸进行超分计算、降噪优化和锐度优化。即使在暗光环境下,也能通过算法精准检测脸部和邻近区域并进行增强处理,提升脸部清晰度的同时,细节处理更精致。
ofl肤质优化算法能分别对肤色和肤质进行ai处理,拍摄时帮助用户去掉脸部瑕疵、优化皮肤表现、让整体气色更出众。这套算法可实现96.5%的皮肤区域的分割,面部皮肤精度达到了97.4%。“肤色检测”范围不仅包括脸部皮肤,也包括脖子和手部的皮肤,几乎涵盖在拍摄人像视频时会露出的所有皮肤区域。
ofl肤质优化算法还能实现ai祛瑕疵效果,智能识别区分天生特征和后天瑕疵的特征,实现更自然地祛瑕疵效果。斑、痘、眼袋等后天瑕疵会被去掉,泪痣等天生脸部特征得到保留。
人脸畸变矫正在处理人脸畸变时,取透视投影中的背景部分,同时对人脸区域进行切割分离、再做一次球面投影,让人脸保持正常的、符合人眼观看习惯的形状,最终将两个画面叠加,从而得到人脸和背景都正常的画面,让整体效果更自然、真实。
全场景全天候拍摄 创作更自由
画质增强引擎包含新一代超级防抖算法、移动延时摄影、超级夜景视频、dol-hdr等功能,可在画面抖动较大、光线不足/过亮等场景下保障拍出满意画面。
超级防抖算法加入场景检测过程,通过抓取陀螺仪、加速度计和sensor的数据分别对运动轨迹、姿态和曝光进行判断,从而区分不同场景,匹配不同的防抖策略。
针对手持移动延时摄影,oppo在超级防抖算法中加入运动趋势判断,不仅可以使被抽取的多帧画面之间的过渡更平滑,还可以实现更长时间跨度的防抖,让移动延时摄影的实拍表现几乎达到云台效果。
超级夜景视频在前代算法基础上和hdr算法进行融合,针对亮度调整曲线进行区分调试,算法先会根据当前的亮度环境智能判断启用夜景还是hdr亮度调整曲线,实现更通透、观感更好的视频效果。
dol-hdr方案解决用户逆光拍摄痛点,其长短曝光帧几乎是同时进行,大幅缩减了前后帧的间隔时间,大大改善鬼影问题,实现更好的hdr视频拍摄效果。
开放共享,先进产品12月问世
从照片时代起,oppo就在美颜领域投入大量研究,经过几年迭代升级,oppo将积累的技术运用到视频领域,只为让用户拍出自然、自信、动人的人像作品,让美自然生长。可以说,oppo fdf 全维人像视频技术系统是开启5g人像视频时代的密匙,将在行业树立全场景视频美颜新标杆。
先进搭载oppo人像视频技术系统的新品将于12月份问世。oppo也将坚持技术共享、技术普惠精神,目前oppo在hdr、夜景、超级防抖等方面的技术已经陆续开放给抖音和快手等第三方平台使用,赋能生态伙伴,让更多人享受到科技的魅力。