正文内容 评论(0)
快科技11月9日消息,美团今天官宣开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练且无需额外授权,定位是面向长程智能体任务的原生多模态模型。
规模上总参数1.6万亿,每个token激活约480亿参数,支持100万上下文,官方称其在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力都有明显提升。=
长程能力的提升来自整条训练链路而不是单点改动,数据侧加入更多长程轨迹,并把真实Agent的失败轨迹转成可复现、可验证的训练任务。
强化学习侧采用partial rollout异步训练,让没跑完的长任务保存后续再跑,过采样率按通过率动态调整以过滤全对全错的样本组,同时对跨checkpoint的旧轨迹做梯度校正,降低陈旧偏差。
训练时任务环境会断网、清除git历史与文件缓存,由LLM judge监督轨迹,并对重复思考、重复工具调用与过度思考施加约束,目的是让模型专注完成任务而不是钻空子。
视觉方面没有外挂独立模块,而是把视觉信号表示为多层级离散token,对原生分辨率特征做残差向量量化逐级补足细节,视觉码本与主干联合训练,视觉与文本共享同一套参数、在同一语义空间里协同完成理解与代码生成。
推理采用W4A4方案,专家权重与激活同时量化到4bit,通过原生INT4矩阵乘法单元执行计算,官方称已评测的下游任务表现与量化前保持相当。
针对显存与带宽受限的国产算力做了协同优化,在单卡显存不足80GB的环境下用分片把压力分散到超节点内多卡,配合混合词表并行、MoonEP动态专家复制与零拷贝通信,长序列SFT的单卡吞吐量较DDP基线提升86%。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...



