正文内容 评论(0

自家大模型被友商超越 OpenAI直指AI跑分有猫腻:此前建议大家都用
2026-07-09 18:34:17  出处:快科技 作者:宪瑞 编辑:宪瑞     评论(0)点击可以复制本篇文章的标题和链接复制对文章内容进行纠错纠错

快科技7月9日消息,马斯克旗下的xAI今天发了Grok 4.5大模型,在编程能力上进步很大,AI基准测试中比GPT-5.5还高,结果OpenAI不乐意了,表示这个项目有问题,撤回之前对它的推荐。

这个测试项目是SWE-Bench Pro,在Grok 4.5的发布新闻中,其跑分达到了64.7%,比GPT-5.5的58.6还要高不少。

自家大模型被友商超越 OpenAI直指AI跑分有猫腻:此前建议大家都用

然而OpenAI突然就不乐意了,公开发文表示他们审核了这个AI编程能力测试项目,认为它已经不能可靠地衡量前沿大模型的编程能力了。

原因是测试项目中有30%的任务有缺陷,有部分任务存在扭曲结果的可能,一些正确的解决方案会因为隐藏要求、相互矛盾的指令、过于严格的测试或不完整的评分标准而失败。

OpenAI还提到他们找了五位资深的工程师做了评审,根据他们的结果他们撤回了此前建议研究者和社区将SWE-Bench Pro作为首要的编程评测基准的推荐。

自家大模型被友商超越 OpenAI直指AI跑分有猫腻:此前建议大家都用

看到这里大家应该明白了,SWE-Bench Pro评测项目之前是OpenAI力推的AI编程基准测试,那个时候霸占榜单的主要是自家的GPT大模型。

现在是多个大模型都在这个测试中超越了GPT的大模型,有些差距还挺大的,OpenAI显然不乐见这种情况,对SWE-Bench Pro的态度也直接180度大反转,表示测试有猫腻,不再推荐作为标准了。

在外界看来,这种自己占优势的时候就说跑分公平,自己不占优势的时候就掀桌子称跑分有猫腻的做法无疑是赤裸裸的双标,更何况还是OpenAI自己一手把这个项目吹成AI编程基准的,结果现在脸面不要了也要推翻。

自家大模型被友商超越 OpenAI直指AI跑分有猫腻:此前建议大家都用

【本文结束】如需转载请务必注明出处:快科技

责任编辑:宪瑞

文章内容举报

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#OpenAI#大模型#跑分

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...