近日，在2024世界移动通信大会（MWC 2024）期间，慧鲤科技与联发科技再次联袂推出生成式AI在端侧的创新应用。基于联发科技天玑 9300 集成的新一代 AI 处理器和慧鲤科技LoRA 融合的技术整合，用户在端侧设备上录制影像时，可以实时生成不同动画风格的视频。这也是业内首个基于LoRA融合技术在端侧实时生成视频的应用，为端侧生成式AI落地进一步刷新了应用边界。

端侧处理，秒速生成，慧鲤LoRA融合技术实时生成趣味视频

作为联发科技在生成式AI技术领域的重要合作伙伴，慧鲤科技结合联发科技生成式AI模型端侧“技能扩充”技术NeuroPilot Fusion，在基础模型上持续扩展AI应用和功能，并于移动终端装置成功实现多种风格化视频的实时生成能力，开辟出一系列手机AI应用新玩法。

在风格化基础模型以及风格LoRA模型训练过程中，慧鲤通过一致性蒸馏算法大幅减少了扩散模型的运行步数，并依托联发科技NeuroPilot框架，以无分类器指导蒸馏进一步降低扩散模型的单步耗时。在保证输出质量的同时，慧鲤实现了手机端接近1帧/s在线风格化生成效果，使生成体验更加自然流畅。

在现场体验中，用户可以通过该功能在手机拍摄过程中精准识别人物影像，并转化为各种风格的趣味视频。除此之外，模型还可以将画面中的背景、人物手持的物品等，稳定细致地转化为与画风调性相契合的背景和道具，让整体视频效果更自然协调。例如，用户手持圆盘形物品拍摄视频时，在油画风格的视频中，圆盘被识别并再创作为调色盘，而在赛博朋克风格中，圆盘则被定义并展示为一个盾牌。

以往在手机端的应用中，由于LoRA和基础模型绑定，切换不同艺术风格的LoRA时需要替换整个模型才能实现驱动，在实际视频拍摄中难以实时切换及加载。当应用中包含多种风格LoRA时，则需要占用大量内存，导致安装包对内存的要求为GB级别。现在，慧鲤结合NeuroPilot框架的lora fusion功能，将自主训练的多种艺术风格LoRA模型尺寸压缩至10MB级别，不同LoRA配合单个基础大模型使用，可以让用户在极短时间内随意切换，运行处理速度更加快捷，充分满足端侧AI用户的个性化体验需求。

激活生成式AI创作热度，抢滩AI自媒体时代

近年来，生成式AI在内容创作赛道的持续火热，内容创作者和消费者都在迫切呼唤更新颖、更前沿的应用体验。慧鲤端侧LoRA融合的应用成果，在“人人都是自媒体”的时代开启了更具想象力的创作空间。

在抖音、小红书等内容社交平台中，此前的手机拍摄创作玩法，主要以美颜滤镜、添加挂件等为主。端侧LoRA 融合带来的视频生成新玩法，为用户的内容灵感、拍摄风格提供了更多新选项，并极大提升创作效率。基于实时视频生成功能，用户在实时拍摄中可自由选择赛博朋克、水彩、油画、水墨、卡通等多种画风，拍摄结束后视频即时生成，元素丰富、高质高效，体验感极佳。

另外，在文旅等落地场景中，手机拍摄实时生成视频的应用前景更为广泛。创作者打卡过程中，仅需实地录制一个画面，即可通过该功能选项创作不同风格作品，任意穿越各种画风的异次元世界，为用户带来更多充满创意的沉浸式体验。

伴随着端侧生成式AI的发展，移动端AI赛道潜力正在充分显现。LoRA融合等技术的应用升级，将进一步挖掘AI在手机等端侧设备的应用潜力，并赋能各领域赛道选手加速入场，开拓更大的参与空间。作为大模型时代的探索家和建设者，慧鲤科技将继续加码技术赋能，为伙伴和用户带来更多前沿AI应用体验。