副标题#e#
北京时间2020年11月18日上午,OPPO在“跃迁·致善”未来科技大会2020(OPPOINNO DAY 2020)上首次公布了“OPPOFDF全维人像视频技术系统”,从大会上公布的技术信息来看,其为用户带来全新的人像视频拍摄体验。
25+地区、700+专利申请、80%发明专利
这些数字的背后意味着什么呢?
发布会上,OPPO官方表示:早在2009年功能机时代,OPPO便在P51上搭载了500万高清摄像头,并且支持拍照人脸检测和LOMO风格滤镜,可以说在人像拍照方面一直走在行业的前列。2012年的智能机时代,更是在U701、R9系列等多款机型上针对摄像头进行了算法升级,目的就是为用户提供更佳的拍照体验。
而上面我们提到的数字,就是OPPO自2012年起在全国陆续布局所取得的成绩,是十分傲人的。
OPPO在全球范围陆续布局人像拍摄相关专利,包括中国、美国、德国、法国、英国、印度以及日韩等25个国家地区。并且截至目前,专利申请总数量700+件、500+专利族,其中已授权专利200+,发明专利占比约为80%,涉及人像美颜、虚化、防抖、夜景、AI人像等多方位技术,已初步形成专利壁垒。
此外,OPPO在内部启动魔镜专项,在不同的城市和Reno系列老用户、终端导购、人像精修师和妆容专家深入探讨他们认为拍得好的人像视频应该是什么样的。
有如此强大的技术做后盾,让OPPO在人像技术研发这条路上再无阻碍,在今日正式推出“OPPOFDF全维人像视频技术系统”。
OPPOFDF全维人像视频技术系统两大技术要点——感知人像引擎
据悉,OPPOFDF全维人像视频技术系统由两大引擎组成,分别是感知人像引擎和画质增强引擎,分别针对人像拍摄时的人物主体和整体画面进行针对性优化。
感知人像引擎针对拍摄时的人像区域进行优化,通过AI算法来实现更精准的人脸检测。人脸关键点检测在人脸区域标记了296个关键点来实现五官和轮廓细节的区分,并在业界权威的公开数据集上实现了低至4.71%的模型损耗,并且这套算法在移动平台上的运行帧率达到了200fps以上。
在暗光拍摄或者拍长焦的时候,如何确保清晰的人像?OPPO引入AI算法,实现了超清人像功能。在深度神经网络模型中设计了3个子模块分别对人脸进行超分计算、降噪优化和锐度优化。
AI超清人像的实际表现:一组暗光环境下的单帧图像,通过算法精准检测脸部和邻近区域并且进行增强处理,脸部的清晰度有了明显提升,眉毛、睫毛、头发丝这些细节表现也更明显。
除了人体面部方面的优化之外,在肤色方面OPPO同样带来了新的技术。
在AI肤色检测中,OPPO搭建了一套轻量化AI模型,并且重新设计了Loss函数,使网络训练收敛更快;再基于用户大数据进行模型训练,最终实现96.5%的皮肤区域的分割准确率、面部皮肤精度达到了97.4%。
OPPO扩大了肤质检测的范围,当模型获取到原始单帧图像之后,会自动生成相应的脸部皮肤Mask。通过结构特征提取的方式再生成脖子和手部的皮肤Mask,非皮肤区域比如头发、衣物就会被标记成其他类别,做到皮肤区域的精准标记。
此外,OPPO在AI祛瑕疵算法中有两大特征,分别是智能识瑕和分阶采样。
智能识瑕可以精准区分用户脸部的“瑕疵”是天生的特征还是后天的瑕疵,比如斑、痘痘、眼袋、法令纹等影响用户表现的瑕疵会经过AI算法处理消除,而用户的天生特征例如美人痣,则会被保留。在用于训练神经网络模型的样本中,OPPO通过人像精修师,以人工的方式对所有样本的脸部特征进行“天生”和“后天”的标记区分,而后通过训练使神经网络模型具备识别两种标记的能力,并通过大量数据进行验证和测试。
#p#副标题#e##p#分页标题#e#
分阶采样——通过分阶段、局部采样的方式重复使用原始样本,并在样本划分瑕疵标记、白平衡、曝光等量化指标,实现原始样本量的进一步扩大,确保AI祛瑕疵神经网络模型适用更广泛的用户场景。
就目前OPPO所公布的技术细节来看,感知人像引擎之强,足以让其成为视频赛道的领跑者。
OPPOFDF全维人像视频技术系统两大技术要点——画质增强引擎
与感知人像引擎相比,画质增强引擎更加直接,目的就是让手机拍摄出来的照片画面观感更佳。
据官方介绍,画质增强引擎是一套能保障用户在绝对多数场景下都能拍出满意画面的算法合集,不管是在画面抖动幅度比较大的时候,还是光线不足或者过亮的时候,画质增强引擎都能将画面调整到更符合用户偏好的观感。
新一代超级防抖算法中,OPPO加入了场景检测的过程,设计的防抖流程图,通过抓取陀螺仪、加速度计和Sensor的数据分别对运动轨迹、姿态和曝光进行判断,然后区分不同的场景匹配不同的防抖策略。
从振动曲线可以看到,原始振动杂乱无章的黑色曲线,在经过加入运动趋势判断的超级防抖算法处理之后,抽取出来的多帧画面变成了平滑的绿色曲线。
超级夜景视频&视频多帧率HDR:OPPO对夜景视频和HDR算法进行了融合,针对亮度调整曲线进行区分调试。算法先会根据当前的亮度环境智能判断启用夜景还是HDR亮度调整曲线。
至此,OPPO FDF全维人像视频技术系统也就给大家介绍完毕了。这项技术可以看成OPPO影像团队多年积累的一次爆发,致力于让每一名用户都能在5G视频时代都能“游刃有余”的进行拍摄。
根据官方透露,搭载FDF全维人像视频技术系统的OPPO手机将会在12月份正式跟大家见面,届时,ZOL中关村在线将会在第一时间为大家带来新品资讯与评测,一起期待吧。