正文内容 评论(0)
新能源汽车的赛道愈加宽阔,前途似锦,越来越多的玩家加入其中,智能体验日新月异。
现在,芯片大厂联发科重磅出击,带来了全套的天玑汽车平台,正在陆续商用落地。
它可为智能汽车带来全新的卫星通信、5G通信、Wi-Fi和蓝牙连接、端侧AIGC等座舱体验,尤其是在人机交互、驾乘体验、娱乐、社交、办公等多种应用场景实现AI赋能。
市调数据显示,预计2024年全球乘用车销量可达8500万辆,其中新能源汽车占比20%,而到了2028年,这两个数字将分别达到8900万辆、35%。
中国乘用车市场总销量在2024年预计为2200万辆,2028年达到2400万辆,其中新能源普及速度更快,占比今年就会有50%,未来四年后更是高达80%,不可限量。
很多人可能不知道的是,联发科已经在汽车行业耕耘了十多年,硕果累累,而且一直保持持续增长的势头。
其中天玑汽车座舱平台全球市场出货量已超过2000万套,预计到2028年全球累计收入可超过30亿美元;
天玑汽车联接平台获得了全球头部汽车制造商的采用,TOP15车企已拿下8家,预计到2028年全球出货量可超过3000万套;
天玑汽车卫星导航系统截止2023年市场占比超过40%,电源管理芯片截止2023年出货量超过2亿颗;
此外,天玑汽车驾驶平台的进度也十分顺利。
2023年4月,联发科正式发布了全新整合的汽车解决方案——天玑汽车平台“Dimensity Auto”。
它包括座舱平台、联接平台、驾驶平台、关键组件四大组成部分,具备高算力、智能、开放性、节能、可靠等特点。
仅仅一个月后,联发科宣布与NVIDIA合作,共同开发集成NVIDIA GPU图形与计算IP、Chiplet芯粒设计的SoC芯片,为软件定义汽车提供完整的AI智能座舱方案。
今年3月的NVIDIA GTC大会上,联发科正式宣布了一系列融入AI 技术的天玑汽车座舱平台系统单芯片(SoC),包括旗舰的CT-X1、高端的CT-Y1/CT-Y0、主流的CT-M1、入门的CT-V1,都支持NVIDIA DRIVE OS车机系统软件。
对于与NVIDIA的深度合作,联发科技资深副总经理、运算联通元宇宙事业群总经理游人杰对快科技表示,这是基于多方面的考虑,而且不只是硬件合作,也不是短期合作,而是面向长期的未来布局,包括智能座舱和智能驾驶的整合布局,也就是所谓的舱驾融合。
其次,两家公司具有相当强的互补,合作可以给彼此带来更多增值,比如联发科的低功耗IP,比如高中低端的全产品线布局,都可以通过合作展现竞争力。
还有就是,无论硬件SoC还是软件,再到整个生态,NVIDIA如今都是整个AI生态圈的龙头,联发科希望借助彼此合作,加速联发科在AIGC浪潮元年的布局和发展,也给生态和业界带来更好的选择。
其中,旗舰级的CT-X1采用了当今最先进的3nm制造工艺,在汽车行业还是第一,在全球也是继苹果A17 Pro之后的第二款3nm工艺芯片。
高端的CT-Y1/Y0也采用了非常先进的4nm工艺。
如此高端的工艺,可以大大提高芯片尤其是多芯片芯粒设计的集成度、性能,并显著降低功耗和发热,从而在更有限的空间内提供更强大的解决方案。
二者的详细规格参数均未公布,目前只知道基于最新的ARMv9 CPU架构。
联发科透露,目前采用CT-X1、CT-Y1/Y0平台方案的国内头部车企,都已经超过了6家,不过按照行业惯例,需要等车企自行宣布。
CT-X1内建了强大的APU AI计算单元,AI算力号称相比2023年的旗舰产品都高出20%,而且采用了先进的散热设计,可以保证性能完整释放。
同时集成端侧AIGC混合精度INT4轻量化技术、内存硬件压缩技术,既能满足AI运算精度,还能更高效利用内存容量与带宽,。
它可以支持130亿参数大语言模型的端侧离线应用、130亿参数的多模态AIGC模型,能够在车内运行多种主流的大模型和AI绘图功能(Stable Diffusion等等),生图不到1秒钟就可以完成。
CT-Y1的性能略低一些,大模型参数降至70亿,但依然能够不到1秒就生图。
有了这样的算力基础,基于3D图形界面的车载语音助手、丰富的多屏互动与显示技术、驾驶警觉性监测等先进的 AI 安全和娱乐应用,都可以在天玑座舱里跑起来。
另外,针对车机系统需求,联发科还提供强大的多媒体支持,“一芯多屏”可以连接超过10块屏幕(CT-Y1 6块),可以配置三组3K分辨率的高清屏,还有MiraVision AI显示增强技术加持。
集成ISP单元,支持多路摄像,以及AI增强的降噪、HDR;集成音频DSP,支持环绕立体声音效。
对于车机互联,联发科技副总经理、车用平台事业部总经理张豫台表示,这是非常重要的事情,主流的安卓和iPhone一定会支持的,并且还会学习华为,不断与生态系统探讨,让联发科的手机连接联发科的汽车后有着不同的体验。
那么,为什么要在汽车上做端侧AI?
目前的智能汽车座舱依赖于云端AI,虽然可以跑1000亿参数以上的大模型,但在端侧只有10亿参数甚至更少,性能严重不足,而且存在延迟、安全方面的不足。
联发科认为,未来的智能座舱将在端侧全面增强,可以轻松支持70亿乃至上百亿参数的端侧大模型,脱离网络依赖后能24小时随时提供服务,当然还能大大降低延迟,并确保个人隐私安全。
同时,多模态大模型落地端侧,可以在舱内舱外实现更加丰富的感知和应用。
比如在舱内的语音、手势、动作甚至是情感等各种新型人机交互,而且哪怕是在车内,也能满足社交互动,以及通话、视频会议、纪要总结等办公需求(当然是在安全前提下)。
舱外方面,可以通过AI进行周边场景、标识的识别,尤其是辅助停车。
目前,天玑汽车座舱平台已经有了超过25家AIGC合作伙伴,大模型已支持Meta Llama 2、百度文心一言、百川等等。
联发科还提供全套的NeuroPilot开发工具套件,可以适配10亿-130亿等不同参数规模的大模型,还支持模型压缩技术,内存优化效率超过40%。
卫星通信方面,联发科不但提供强大的NR-NTN功能,还全球首个支持主流卫星通信的Ku频段,已经引入汽车座舱平台,它的可用带宽明显高于FR1,还支持6G FR3协同效应。
同时,联发科还有一系列的卫星通信创新技术,比如Ku波段UE相控阵、基于星历的UE波束成型,等等。
当然,全球卫星定位导航系统也是少不了的,支持L1+L5双频段、GPS/北斗/伽利略/格洛纳斯/QZSS、WAAS(美国雷声公司广域增强系统)/EGNOS(欧空局接收卫星导航系统)/MSAS(日本多功能卫星增强系统)/GAGAN(印度GPS辅助静止地球轨道增强导航系统)、高精度IMU,水平和垂直精度分别小于1.5m、2.25m CEP,速度精度0.05m/s。
5G通信方面,通过集成先进的AI基带,支持下一代3GPP R17甚至是未来的3GPP R18解决方案,对比前代可提供更高的吞吐量、更低的功耗、更好的覆盖范围(比如小区边缘)。
Wi-Fi连接方面,全系标配2.4/5GHz双频段并发,双天线或三天线,Wi-Fi 6、Wi-Fi 7的极限速率分别达到1.2Gbps、6.4Gbps,覆盖车内串流、车外OTA、车载娱乐与后座娱乐、热点接入等应用。
同时,一颗芯片集成两个蓝牙,而且是最新的蓝牙5.4标准、蓝牙LE Audio音频,可同时覆盖主副驾。
顺带一提,对于汽车安全标准,联发科也提供全面的支持,包括全系标配AEC-Q100二级车规认证。
接下来,是平台技术与应用的DEMO展示。
天玑汽车联接平台:
左边两个是车规级的5G模组T-Y1、T-Y2,右侧是基于T-Y1模组的5G T-Box无线网关。
T-Y1 5G模组,四个A55 CPU核心,主频1.5GHz,性能为15K DMIPS。
它支持3GPP 5G R15,Sub-6GHz频段最大下行速率4.7Gbps,还有200MHz带宽、NR双载波聚合、L1+L5双频段卫星定位导航、NR ecall紧急呼叫。
安全方面通过了AEC-Q100车规认证,可适应-40℃到85℃温度范围。
T-Y2 5G模组,主频提高到2.0GHz,性能提高到22K DMIPS。
通信升级到5G R16,最大下行速率7.0Gbps,还有300MHz带宽、NR四载波聚合。
5G网关。
联接平台应用展示:
包括全球卫星定位导航、Wi-Fi与蓝牙模组、蓝牙LE Audio。
CT-Y1智能座舱:
注意看有多达12个摄像头,最高可达3200万像素,还同时在执行地图导航、视频播放、视频会议等应用。
锐承(ReaCheng) CM-M1智能座舱方案:
虽然定位不高,但功能齐全。
它支持AVM(全景式监控影像)、DMS(司机监测系统)、OMS(乘客监测系统),支持系统快启、倒车影像快启、多屏异显异触、语音识别、声音音效、地图、音乐等等,还有HyperVisor软件。
锦途图(GentAI) CM-M1智能座舱方案:
最大特点是内置腾讯TAI 4.0全家桶,囊括语音、微信、爱趣听、随行等。
它也有高清AVM、DMS、OMS,并支持10路图像输入、5路图像输出,支持仪表和中控双屏显示。
天玑智能座舱三域融合量产平台:
7nm工艺,三合一融合车载终端、网关、数字钥匙等功能,并结合国内自主研发的安全微内核,以及高性能的HyperVisor,在GPU损耗等关键性能指标上表现优异。
天玑汽车AIGC应用之新闻智选:
基于70亿参数的大模型,可以自动总结过去24小时发生的用户感兴趣类别的新闻,在上车时向用户简要介绍。
用户也可以通过自然、直接的语音交互,进一步要求AI对感兴趣的内容做摘要甚至评论。
这一应用还可以延伸到端侧通话结论、会议摘要等场景。
天玑汽车AIGC应用之智能汽车用户手册:
通过语音输入查询问题,大模型结合上下文,识别用户意图,搜索知识库内信息,并根据汽车实时状态,整合答案输出。
技术方面,它是经由端侧运算仲裁模型,根据用户问题判断,由端侧或云端运算给出结果。
这不但可以确保快速且正确的回应,而且即便在未联网情况下也能完成,保证全时在线运作。
天玑汽车AIGC应用之疾速文生图:
基于SDXL Turbo加速的疾速文生图,可以根据提示词(Prompt)的不同实时变化,随时得到不同的图片,而且一切都在端侧完成。
它还可以延伸到交互式生图游戏等应用。
天玑汽车AIGC应用之神笔:
基于AIGC图片生成大模型,用户通过触屏绘画,结合语音或文字提示词(prompt),只需简单几笔,即可生成精美画作。
技术方面,它融合了多模态交互,可以生成高清图片。
延伸应用场景包括疾速互动生图、个性化座舱主题、生成式游戏应用等。
今天,AI正在重新定义千行百业,汽车行业自然也不例外。
AIGC有望在人机交互、驾乘体验、车载娱乐、社交办公等方方面面,重塑沉浸式的座舱体验。
联发科基于自身在芯片产业的雄厚技术积累,加上与NVIDIA、行业生态伙伴、汽车厂商的通力合作,全新打造的天玑汽车平台,不但拥有强劲性能、创新应用、融合生态,更是开启了汽车端侧AIGC的新篇章。
作为行业顶尖的车用计算平台,天玑汽车不但提供了灵活的软硬件平台、成熟工具链,更有日渐丰富的AIGC生态,可以帮助车企快速将AI功能部署到全系车型,推动汽车产业迈入“AI定义座舱”的新时代。