12月19日,在2019 OPPO开发者大会(ODC19)技术论坛上,OPPO围绕5G、AI、AR及终端安全等技术方面的规划与成果展开,聚焦“五大系统能力开放引擎”,与开发者共同探索5G时代的新机遇。

除了技术论坛对OPPO各项技术进行深度讲解外,超1000平方米展区中还设立了多个技术项目的体验区,开发者及合作伙伴可以现场体验多人AR游戏、5G云游戏、3D手部追踪、人体3D建模等各项“黑科技”。

以5G为支点撬动AI、AR、IoT等技术融合,助力未来智慧生活

5G时代,拥抱智能,万物互融。5G科技的进步为用户创造了更便利的生活,技术的革新更为社会发展带来更高效的运作。

OPPO 在 5G 发展的过程中做出了卓越的贡献。早在 2015 年,OPPO 便开始着手于 5G 的研究工作,不仅全程参与了 5G 标准的制定,并且作为 5G 终端行业标准的起草单位之一,提交了超过 2500 族 5G 专利的申请,向国际标准化组织 3GPP 累计提交了超过3000 篇的文稿。

据介绍,早在2019年2月份,OPPO就利用5G实现全球首次的微博直播,成功展示了云游戏业务。同年5月份,OPPO第一款5G手机成功在欧洲瑞士电信成功上市。

此外,OPPO 还在积极探索未来在个域网和智能家居领域的 5G 边缘,寻求在工业物联网层面上的突破,让 5G 技术的发展惠及更多企业。OPPO希望以5G为支点,撬动AI、AR、IoT等技术融合,助力未来智慧生活。

OPPO AI语音语义:神经机器翻译引擎将开放

2019年,OPPO机器翻译团队取得了不错的成绩。例如,在WMT19竞赛中获得了英中新闻的第四名;在CCMT2019竞赛中,获得了多语言日英专利翻译冠军,英中新闻亚军。

当前,OPPO神经机器翻译在模型训练和推理加速方面,做了很多工作。比如Deep Transformer、Fuse BERT into Transformer、AAN、SAN等。随着这些技术的综合应用,OPPO神经机器翻译引擎,已经通过内部测试,与外部竞品相比,翻译性能处于同一水平。目前,OPPO机器翻译引擎已经落地到OPPO内部很多业务场景中,未来将落地到更多的场景中。

据了解,OPPO神经机器翻译引擎预计在20年将会对外开放在线API,首期将开放中英、英中、中日、日中翻译接口,其它语种的机器翻译服务也将会陆续开放。

“黑科技”:3D手势识别、人体3D建模和混合现实

在技术论坛,OPPO还展示了自研的SLAM算法的“黑科技”,包括人体3D建模和混合现实,以及3D手势识别。

当前,为了捕捉人体的3D形状,传统上有被动解和主动解。当前,3D建模采用主动解决方案,通过精密的 3D 扫描设备实现,该方案需要昂贵的固定设备设置,既不方便,又不适合广大消费者使用。OPPO人体3D建模基于拍摄单张RGB图像的方法,用户可以通过自拍来完成,当然也可以有另外一位帮用户拍摄,这种方法易于设置,可以满足日常场景,适合非专业用户随时使用。

在3D手势识别技术上,手的3D跟踪对于AR/VR是必不可少的组成部分,是下一代最主要的3D人机交互技术,是AR/VR中的鼠标,它在下一代计算平台的地位类似于多点触控对于触屏手机的地位。OPPO为了开发自己的手势识别算法,购买了专门采集数据,样本超过两百万。基于采集的数据和深度学习,OPPO开发了紧凑、高效、准确、实时、低功耗的3D手部追踪算法。

ARUnit2.0 连接虚实 连接你我

OPPO 开放平台的 ARUnit 系统能力,能够为开发者提供 AR 底层驱动引擎、AR 内容创作工具链、软件 SDK、开发者应用工具和模块等,帮助开发者降低研发接入平台的工作量。

ARUnit的追踪技术使用摄像头来标识特征点,并跟踪这些点随着时间变化在屏幕上的移动。通过结合移动信息与手机惯性传感器的数据,ARUnit能够在手机移动时确认自身的位置和屏幕朝向。

ARUnit对开发者而言,带来了诸多虚拟化价值。首先,能够帮助开发者为用户提供足够有趣的内容和服务,满足用户的使用场景;其次,虚拟世界拥有足够丰富的资源来支撑开发者实现这样的内容和服务;再者,物理世界与虚拟世界能够紧密的对齐、关联,并导入资源;最后,用户在物理世界的行为也能够完整的映射到虚拟世界中。

因此,OPPO在ARUnit2.0中做了如下的升级:空间计算升级,更注重尺度的重要性;环境理解升级,更注重位置的重要性;多用户体验,更注重信息的密集性;骨骼跟踪与手势识别,更注重互动与趣味性。

此外,全新升级的ARUnit2.0开放计划也在ODC19技术论坛正式公布。其中,空间计算升级和多用户体验将在2020年Q1开放,而环境理解升级和骨骼跟踪与手势识别预计将在2020年Q2开放。

CameraUnit&MediaUnit:影像多媒体能力开放,共建清晰流畅新视界

目前,系统能力与三方应用呈现需求的存在重合与隔断,用户体验存在断层,通过开放系统能力,可以让系统与应用体验相融。因此,OPPO在ODC19宣布“五大系统能力开放引擎”。

其中,CameraUnit主要侧重影像类用户体验。CameraUnit的相册能力可以将相册中智能人物分类、图像多标签分类、地点分类和智能搜索等能力进行封装,通过ContentProvider以跨进程的方式开放至三方应用,用户在三方应用选图片发送时,通过图片分类和搜索可快速定位到照片,发图的效率得到前所未有得提升。

在拍摄能力方面,CameraUnit超广实现了116°超广镜头,打开前所未有的广阔视野,采用主摄+长焦镜头+超广角镜头组合,让三颗摄像头「接棒式」实现 16-160mm「全焦段」覆盖,释放更多影像创作的自由度,三摄组合内含双OIS光学防抖,智能感知抖动并校正,拍远处也清晰。而超级防抖,则同时结合OIS光学防抖和EIS电子防抖,通过多源传感器信息融合和防抖场景智能分析,陀螺仪频率提高了2~3倍,从而更加灵敏地感应手机的运动状态,实现视频拍摄中的超级防抖。此外,超级夜景功能基于RAW域根据不同摄像头精心调试的夜景算法,结合各种场景信息,利用平台DSP加速,可以取得高质量的夜景成像效果。开发者接入CameraUnit的拍摄能力,能够让用户直接操控手机原生相机,拍出更清晰的画面。

MediaUnit系统能力主要表现在“听”和“视”方面的用户体验上。

在听觉方面,K歌耳返采用低时延解决方案实现听唱同步,系统级优化的语音系统,智能美化音色、节奏和音准,同时支持5.1&7.1声道技术,增强听音辨位方向感。此外,基于Audio Virtualizer算法,通过耳机还原游戏内的声音距离和方位,并支持FRC功能。

在视觉方面,ROI编码支持23~265格式解码,且通过软硬结合,灵活控制编码,在直播场景或视频通话场景提高清晰度,保证观看效果,开启ROI编码最高可以节省35%的带宽。特别值得一提,还有AI视频插帧,当前视频领域大部分电影或者电视剧只有24帧或25帧,而手机屏幕的刷新率已经到了90帧甚至更高,借助OPPO在视频生产方面的技术,AI视频插帧能够为用户带来更强的画面流畅度。

Hyper Boost&Link Boost:共建用户畅爽新体验

Hyper Boost是OPPO自主研发的全场景、系统级资源调度优化方案,从系统、游戏和应用三个层面对智能手机全面加速。Hyper Boost能力目前已通过OPPO开放平台对外开放,该技术能力接入快速简单、SDK体积合理、业务兼容性强,已有超过60+款游戏及应用接入。

Hyper Boost主要包含场景加速、智能帧率、触控优化三大核心能力。在场景加速方面,对运存、存储两块领域挖掘,让资源调度更加智能,并率先与引擎公司合作,针对游戏中对局、团战、决赛圈、开氮气等场景进行定制加速。在智能帧率方面,继续赋能帧率稳定、减少卡顿,通过智能帧频进行锁大核提频,预防和缓解卡顿,让游戏帧率更稳定。在触控优化方面,提供多样化4D细腻振感,并开放马达波形效果库,开放能力聚焦CPU/GPU,通过对Android底层代码的一一检查,OPPO优化了大量代码逻辑,每一帧的响应时间都可以减少3~5毫秒。同时,还对同步信号进行了优化,使得触控帧可以更快的显示在屏幕上。

Link Boost主要包含智能链路聚合能力、双Wi-Fi能力和多路TCP能力。智能链路聚合能力将无线进行网络访问,根据实时进行优化,开启SSA以后,在Wi-Fi信号很好的时候,开启了SLA,打开网页速度提升非常明显,在Wi-Fi信号很弱时候也会提高。双Wi-Fi能力能够智能匹配用户刚刚连接过的另外一个次Wi-Fi,去辅助网络加速,让网络的分流完全智能化,使得网速达到倍增效果,改善网络不稳定问题。多路TCP能力能够允许双方进行多条TCP的链路,充分利用多路径提高可靠性和吞吐量。

Hyper Boost和Link Boost两大系统能力,通过软实力将充分发挥设备硬件能力,与开发者携手共建用户畅爽新体验。

OPPO云安全为互联网生态保驾护航

目前,ColorOS 全球月活跃用户已超3.2亿,覆盖140个国家和地区。OPPO为了保障用户信息安全,进行了全球化布局,在东南亚、印度和欧洲建立了相应的技术中心,以应对全球化互联网信息安全。

在互联网安全防御体系建设方面,OPPO积极开展安全组织的建设,包括终端安全、信息安全、安全部门,以及多个安全实验室,从而保证OPPO用户的互联网信息的安全性。此外,为了安全品牌的建设,OPPO上线了全球500家以上的白帽子,并给予丰厚的奖励。

在移动端的安全能力检测方面,采用自动化和人工化的检测,对APP进行渗透分析和安全评估,防止别有用心的应用使用第三方的SDK,以免给用户带来安全风险。此外,还有业务防刷和反欺诈SDK,为开发者的APP提供实时的安全服务。

据介绍,今年9月份,OPPO还拿到业内第一个泰尔信息安全五级认证。从硬件安全、系统安全、外围的接口安全,以及软件安全和数据安全层面,为用户及开发者提供更全面的安全保护。未来,OPPO也会在AI安全、隐私安全等研究方向发力。

技术的进步带来用户生活的新变化,科技是行业和社会发展的核心驱动力,在万物互融时代趋势下,OPPO将持续关注5G、人工智能、AR、大数据等前沿技术,并将致力于构建底层硬件核心技术与系统能力。

意向接入OPPO“五大系统能力开放引擎”、云安全等各项技术能力的开发者及合作伙伴,可以通过OPPO开放平台官网接入。