正文内容 评论(0)
快科技8月6日消息,国产大模型中,Qwen3.8 Max、Kimi K3参数量已经到了2.4万亿、2.8万亿的级别,再下一步就是5万亿参数量了,这一次可能是字节率先行动。
晚点latepost刚刚报道称,字节正在讨论训练一个超过5万亿参数量的大模型,会是国内已知规模最大的大模型了。
不过这个计划还在早期阶段,不一定会最终发布。
5万亿参数量的规模也被认为是GPT-5.6或者Opus 5级别的,通常来说参数量越大,大模型的性能就越强,OpenAI及Anthropic就是靠着更高的参数量来实现性能领先的优势,据悉他们内部已经在训练甚至完成10万亿参数量大模型的准备了。
但是超高参数量也意味着超高的投入,尤其是算力资源,5万亿参数需要大量AI显卡才行,让DeepSeek算了下,以H100的算力为基准,训练这样的大模型需要10万颗H100训练347天,或者100万张显卡训练35天时间。
百万卡也到了GW级别的算力规模,要求是非常高的,字节也不可能一下子就投入这么多算力,合理的做法是20-30万张显卡训练3-4个月,再算上准备及后训练等,至少要半年时间,甚至一年之后才可能训练出来。
在算力资源上,目前最充裕的还是OpenAI,SemiAnalysis之前测算他们有200万张显卡的算力,Anthropic也有62万张显卡的算力,DeepSeek只有6万张,而且很多还是之前略显落后的H20、H800显卡。
以字节的财力满足5万亿参数大模型训练是没问题的,而且有了这样的大模型,豆包的能力做到GPT-5.6/Opus 5级别是没问题的,智商可以拉满,不用再被网友调侃了。
现在要看的就是字节是否真的准备推进这个大模型的训练了,他们要考虑的可能还是商业上的回报。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...



