近日,由声网Agora 与环信联合主办的“RTE 2021 编程挑战赛”圆满落幕。本届大赛全程在线上进行,经过2个月的激烈角逐, 46 支队伍从 200多支参赛队伍中冲出重围,进入决赛进行精彩答辩。

最终,诞生了应用创新赛道的一、二、三等奖团队各一名,“环信专项奖”一名,以及“优秀奖” 六名;技术创新赛道“技术创新专项奖”一名,“优秀奖”一名。

“RTE 2021 编程挑战赛”是面向全球的RTC开发者、高校学生、创业者、极客企业以及个人开发者的在线黑客马拉松。声网已连续举办三年,让开发者充分发挥想象力,创造更多用RTC技术赋能的实时音视频互动场景和创新应用,拓宽RTC技术能力边界,是声网举办创新编程挑战赛的初衷。

两大赛道,12大实时互动创新项目获奖

今年的“RTE 2021 创新编程挑战赛”共分为 2 个赛道:应用创新赛道延续了「使用声网Agora SDK 开发应用」的赛题;技术创新赛道开发者可以「利用声网云市场插件接口,开发自研插件与功能演示 Demo」。

尽管此次的赛制与赛题对参赛队伍提出了更高的要求,但同时也为大家提供了独有的技术创新空间。相较去年而言,两个赛道的报名队伍及提交作品数量为去年的两倍。

1、应用创新赛道

一等奖:Agora Home AI

随着智能设备性能提升和网络的快速发展,以音视频为基础的智能硬件也正在蓬勃发展中。跨品牌、跨产品的设备管理也成为萦绕在用户日常使用中绕不开的一个话题。

「Agora Home AI」可以帮助用户实现可穿戴设备、智能家具设备、视频监控设备接入何控制。包括智能灯光、智能门窗、智能门锁、智能安防、智能手环监测、智能家电控制等配套产品,让用户实现多种品牌的智能设备在统一的交互平台内互联互通、统一管理、智能联动。为给用户创造更舒适、更安全、更节能的家居生活环境。

二等奖:Agora FIow

「Agora Flow」是基于声网+环信 SDK 搭建的音视频 Low Code Web 共享编辑器。Low Code 解决方案是将音视频相关功能进行模块化集成,提供一个图形化界面,让开发者可以用做 PPT 的形式来完成想要实现的功能。

作品通过声网的音视频传输及云信令 SDK 产品,提供了基于 Web 的集成了 RTC Chat SDK 的模版工程,通过 CodeGen 来生成配置项。实现了在线流程图编辑器 Low Code 项目的自动生成。作品中的一切的操作几乎都可以通过拖拽来完成,帮助开发者能更好开发 App 。

三等奖:都市探险家

「都市探险家」是一款利用地图 LBS + 云信令 SDK + 实时音视频构建的社交产品。这款产品为想要寻找共同爱好的新朋友并一起在都市进行旅游、探索的小伙伴而设计。产品的使用十分简单便捷,用户注册登录后,通过 LBS 地图会自动更新用户所在位置,只要点击“发起任务”并选择“探险”人数,用户就可以与小伙伴进行一次全新的都市探险啦。

对于 RTE 场景而言,产品中实现了多人语聊房场景。并且,通过云信令 SDK 的使用结合了实际的业务场景,对于当下的语聊房场景进行了拓展。 产品未来也会接入视频聊天的功能,让没有办法即时出行的小伙伴也能共同参与到城市的探险当中。

环信专项奖:忘忧馆

「忘忧馆」是一个很有温度的作品,希望可以帮助现代生活中的人们通过彼此倾诉忘掉烦恼、解除忧愁,传播正能量。

这是一款陌生人社交 App,包含信息流。结合了几种最常见的社交产品形态,包括文字聊天,通话等等。让一些不方便与亲人和朋友诉说的烦恼,可以在和陌生人交流时找到共鸣与安慰。

优秀奖:Vchat

「Vchat」利用人脸骨骼识别和云信令 SDK 实现了虚拟 3D 角色的实时通话。使用 tensorflow.js 的 WebGL 引擎作为后端,使用现有开源的人脸识别模型通过摄像头识别人脸的位置以及五官的状态。再通过 Three.js 和 Vrm.js 将人脸数据实时更新到虚拟的 3D 模型上。

在视频部分,通过实时消息 RTM SDK 将人脸骨骼数据实时传输到频道中让其他用户订阅还原人脸。而语音部分则是通过 RTC SDK 将声音进行实时传输并让用户进行订阅。可实现同步换脸、变声聊天等功能。

除了「Vchat」,还有「灵动课堂答题组件」、「Agora X-Runtime」、「Weln」、「欢信(bla-bla.app)」、「智能AR毛笔临摹教学系统/CopyTeachWorks」作品获得了此次大赛“应用创新赛道”的优秀奖。

2、技术创新赛道

技术创新专项奖:人脸识别

「技术创新专项奖」获奖作品是一个在 iOS 平台上使用 AgoraEngineKit2 开发接入一个基于 C++ 语言封装的「人脸识别」插件。

作品通过 TYSMExtensionManger 类与对外交互,对内则处理插件实现的相关逻辑。将 IExtensionProvider、IVideoFilter 和自己的开发的 Processer 都放在同一个地方。用 framework 方式对外公开两个文件,既方便开发者查阅,同时也可作为作为参数传递,增强代码可阅读性。

该插件可以支持人脸检测、追踪、以及多脸的追踪识别,对脸部轮廓、眼睛、眉毛、鼻子、嘴巴等识别到的区域以 3D 点状作出反馈。

优秀奖:Water Mask

「Water Mask」项目是“技术赛道”中的参赛作品,通过在声网 SDK 的视频采集或者播放环节,在 YUV 域上或者编码后添加图片或文字类型的隐性水印。

隐性水印(盲水印)添加后,用户不能直接看到视频中的水印信息。在保护视频发布者版权的同时,也保障了用户的视频观看体验。未来,「Water Mask」还希望在音频处理上,可以扩展声纹水印,在视频版权追溯、认证防伪等场景为行业带来更多、更好的体验。

与开发者共成长共创RTE行业新价值

作为首个将实时音视频作为PaaS服务提供给开发者和客户使用的企业,声网一直以来都在身体力行地积极推进RTE开发者生态和行业生态的构建,力求能够提供“实实在在”有利于行业及开发者的实时互动云服务。

2015年,为推动全球RTE行业开发者更好的进行技术交流和分享,声网在成立不到2年的时间里,便率先举办了全球最大规模的实时互联网大会,至今已经举办了6届,累计数万名全球开发者、行业大咖、技术专家、投资人等参会。

2019年,声网面向开发者举办了第一届RTE创新编程挑战赛,至今已有超千名开发者组成的500+参赛团队,创造了100多个优秀作品。开发者基于声网提供的技术服务与支持,以自己对实时互动场景理解出发,实现了多个实时互动创意作品。

去年,以发现更多为行业创造创新价值的独角兽企业为目的,声网联合五源资本和奇绩创坛举办了全球首个实时互联网创业挑战赛,在全球范围内寻找“使用实时互动技术进行创新”的企业和场景,活动吸引了100+优质企业参赛,并最终胜出了三家在社交领域、声乐教学领域、协同办公领域有创新性产品的企业,借助资本的力量,有效推动实时互联网创业生态的发展和繁荣。

除以上活动外,声网还通过开发者社区,专注于分享与传播技术团队在RTC领域的研发成果、技术解决方案、以及前沿技术探索,与开发者和技术合作伙伴一起交流、共同成长。很多内容都深受开发者的欢迎。

面向未来,声网将持续深耕RTE领域,与开发者和技术合作伙伴共同挖掘实时音视频应用新场景,共创行业新价值。