RTE 实时互动作为一种未来数字生活的基础设施,已经全面深入人们的社交、娱乐、工作、购物等方方面面,并撬动各行各业的价值增长。甚至在当下的 AIGC 热潮中,实时互动也在扮演重要角色,推动人与 AI 的交互方式从文本升级为音频、视频的多模态。

然而实时互动究竟是什么?它是如何从 RTC 实时音视频演变来的?它背后的技术原理是什么?目前 RTE 已经落地了多少个应用场景?未来在大模型中实现实时语音对话,还存在哪些技术难点?

8月27日,由机械工业出版社出版,声网研究院组编的实时互动行业书籍《读懂实时互动》正式发售上架,这也是全行业首本系统介绍实时互动的技术型科普图书。

Granite Asia 高级管理合伙人Jixun Foo、CSDN 创始人兼董事长蒋涛、五源资本创始合伙人刘芹、36氪创始人兼董事长刘成城、清华大学教授李东红、北京大学教授马思伟、西北工业大学教授谢磊、IDC中国副总裁兼首席分析师武连峰等联合力荐。

读懂实时互动 看这本书就够了

《读懂实时互动》全书详细介绍了实时互动发展的过去、现在与未来,涵盖实时互动的发展历程、概念解析、技术原理、应用场景、大数据观察等,主要分为五个部分。

·   第一章:回溯与洞察实时互动的过去、现在与未来

从1996年全球第一款可拨打电话的 VoIP 电话诞生,到如今人类可以实现与 AI 的实时语音对话,这中间经历了哪些场景的进化,技术的升级,企业的创新?从狼人杀、直播连麦、在线教育、互动播客、元宇宙,到今年大火的 AIGC,声网从底层音视频服务提供商的角度为大家解析实时互动的技术升级、行业变迁之路。

例如实时互动是如何成为泛娱乐应用的标配功能?在 RTC 功能的加持下,IoT 设备如何实现万物皆可互动。从1964年视频会议的概念首次出现,到现在开发者可以在任意 APP 内嵌入视频会议功能,视频会议是如何从单一的通信工具升级为一种普适能力。

·   第二章:实时互动与相关概念辨析

总是说 RTC 和 RTE,但是你真的懂两者间的区别吗?等等,还有 PaaS、SaaS、IaaS、aPaaS,还在为这些概念分不清楚而绞尽脑汁?

相信读完这个章节,你会对这些概念有更清楚、明确的认识。

·   第三章:实时音视频技术流程解析

重头戏来了,作为一个行业的入门者,这一章是你了解实时音视频技术的不二之选。从音视频采集、前处理、编码、传输,再到音视频后处理,我们联合声网的多位技术专家用了较长篇幅、较多笔墨,一一道来。

在本章节,你能看到音视频前处理中音频 3A 处理与美声的最佳实践;直播与视频通话等场景中如何实现美颜;VP8、VP9、H.264、H.265 以及 AV1等不同的视频编解码标准在 RTC 中的应用有何不同?等等。

·   第四章:深入剖析近200个实时互动应用场景

当下,AIGC 产业发展如火如荼,在实时互动的加持下,人与AI 交互也从文字升级为音频、视频的多模态,也涌现出许多对话式 AI 场景,比如 AI 语音助手、AI 口语老师、AI 游戏NPC、AI 虚拟恋人等。以AI 语音助手为例,通过多模态大模型+RTC,能够让用户与 AI 助手进行1v1实时语音对话。通过 Prompt (AI指令或AI提示词)为助手设置丰富的人设,配合 RTC 的超低延迟传输,能够让 AI 像真实的助手一样互动,提供帮助。

在这类对话式 AI 的场景中,存在多个技术难点,例如AI 语音对话通常延迟较高,很影响对话体验,非常考验 RTC 传输的低延迟,通常延时要做到1-2S内,人机对话的体验才会自然、流畅。同时,在流式对话中,周围人声和噪声极容易对人机对话造成干扰,需要通过AIVAD、AGC、AINS等音频功能,有效地抑制周围噪声的干扰,并能够更好地识别用户说话的完整语义,让语音识别更加完整准确。

除了新涌现的对话式 AI 场景以及我们耳熟能详的秀场直播、语聊房、在线K歌等场景,书中还介绍了很多你未曾可知的物联网场景,比如平行操控领域的云赛车,云赛车基于云计算和人工智能,主要用于爱好者和专业赛车手进行远程驾驶的赛车比赛。通过云平台的控制,驾驶员可以在家中就能参与远程的赛车比赛。

在这类场景中,技术难点主要集中在延时与传输方面,例如赛车速度快,对延时要求高,需满足实时画面低延时性和传输稳定性,同时还需要具备多路高清回传的技术能力。

·   第五章:实时互动大数据观察

全球用户都在实时互动?相信作为一个 APP 运营者,或者关注本行业的同仁,对于实时音视频大数据,比如,全球热门区域RTC 用量机型清单、机型常用网络占比,不同机型对于音视频的用量占比、热门区域 RTC 用量等等数据都有所关注。另外,音视频卡顿率对于用户使用时长与留存有何影响?该如何优化?这些内容对于一个 RTC 行业从业者都不容错过。

本书还准备了丰富且实用的配套资源,包括与实时互动相关的图表、图谱、行业发展报告和白皮书等电子文档,绝对干货满满,物超所值,具体获取方式为扫描封底的二维码进入本书专属云盘进行下载即可。

《读懂实时互动》从何而来?

在实时互动产业环境高速进化和使用场景多元化的背景下,声网发现行业还没有一本书系统的从发展历程、应用场景、技术架构等角度全面的介绍实时互动,只有少部分书从技术架构层面去介绍WebRTC,很多人也不知道 RTC 实时音视频与 RTE 实时互动的关系与区别,因此,全面了解和普及实时互动在当下显得尤为重要。

今年是声网成立10周年,声网作为全球实时互动云行业的开创者,一直以“帮助人们跨越距离实时互动,如聚一堂”为使命,致力于通过高质量的实时音视频技术服务,全面提升人们的实时互动体验,为社交、教育、金融、医疗等行业赋能,推动经济、社会的发展。声网有责任也有义务去推动实时互动的普及。

对此,声网在10周年之际推出《读懂实时互动:音视频技术、场景及数据深度解读》这本书。本书从发展历程、技术原理、应用场景、大数据观察等多个维度对实时互动展开全面的系统性讲解。我们希望读者通过阅读本书,能够深入的读懂实时互动,并掌握实时互动相关的知识,并推动更多的人群加入到这个行业中来,一起推动行业的进步。

目前,《读懂实时互动》已登陆京东、当当等各大电商平台及实体书店,敬请关注。