正文内容 评论(0

Futuremark谈基准测试的准则与节操
2013-08-24 20:52:19  出处:超能网   编辑:上方文Q     评论(0)点击可以复制本篇文章的标题和链接

前一段时间有安兔兔引发的测试程序跑分与优化的问题沸沸扬扬,备受争议的安兔兔也做了官方回应,并在本月19日推出了V4.0版安兔兔程序,虽然跑分还是最重要的部分,但是安兔兔也在努力寻求救赎,大谈应用体验,希望借应用体验得分改变大家对他们只会跑分的印象。

作弊与优化的问题在基准测试行业由来已久,这个行业中比安兔兔更有资历的公司都曾遭遇过这样的质疑,比如芬兰的Futuremark公司,现在他们的业务也从PC平台伸向了Android、iOS及Windows RT、WP移动平台,3DMark的跑分也有过这样的争议(高通CPU在跑分中无比强大),他们是如何看待这个行业,如何评价安兔兔事件,又如何保证基准测试的公平性的?VR-Zone最近在台北采访了Futuremark老总Oliver Baltuch,后者谈到了这些问题。

原文内容比较多,我们捡有关基准测试的部分来看。

Oliver Baltuch回答的第一个问题是“他们如何确保不出现安兔兔门事件?”他详细解释了Futuremark是如何设计3DMark这样的基准测试软件并保证公平性的。Futuremark内部负责运营的团队和负责技术的团队之间有“中国墙”隔离。首先他们会面向所有成员起草一份规格说明书提议介绍测试程序,然后收集成员们的反馈形成最终的规格说明书,3DMark的说明书提议就有25页之多。

名词解释:中国墙(Chinese Wall),证券行业用语,这个词与我朝实际上毫无关系,是美帝先用的,指投资银行部与销售部或交易人员之间的隔离,以防范敏感消息外泄,从而构成内幕交易。

Futuremark的Driver审批原则非常明确地宣布了你不能自己定义、改变测试程序。一旦我们发现有人没遵守我们的规则,我们并不会向世界大张旗鼓地宣传这事,我们会悄悄地与这些人沟通,让他们知道这些跑分是不会公开在我们的网站上的,除非他们改变自己的作为。通常情况下,他们都会认识到自己的错误,改正之后我们才会接受。

安兔兔只是简单地跑分,人们也就简单地用这个跑分,就像使用某个设备一样。对我们来说,我们不相信基准测试是某个产品,它需要包含一整套的评测者指导、驱动规则、批准政策及完整的后端服务器,这样才可以对比测试结果,检查是否有什么猫腻。我们有服务,我们有(品质保证),我们确保我们的产品是完整的产品。

另外,很多人都没有意识到芬兰这个国家对企业监管有非常严苛的透明度,就算我们是个私人企业,过去五年中我们的账簿和财务信息都可以精确查询到5欧元。我们与其他公司的商业合作是无法隐藏的,也没有什么秘密交易是可以隐藏的。

这就是们所拥有的一个非常透明的监督系统。规格书中涉及的任何改变都是公开的,所有的参与者都能看到这些。你们可能听到一些“天啊,xxx的跑分这么高,一定是收钱了!”,但这并不是真的。

VR-Zone又接着问了Baltuch一个尖锐的问题:“你这样说是不是意味着你们比安兔兔更诚实?”Baltuch也很狡猾,说他不是这个意思,他只是解释了Futuremark做基准测试程序一以贯之的准则。他说安兔兔的情况是独立的问题,是他们自己的事。他并不知道其中有什么内幕工作(inner workings),Futuremark只能做好自己的事。

采访中还有其他问题,比如iOS版为什么这么晚还没发布之类的,不过都是些小问题了。

Oliver Baltuch的回答都很官方化,也很巧妙,多多少少也在打安兔兔的脸。另外,VR-Zone原文的标题是“世界上最诚实的基准测试业务公司?”,这个问号加的很好,Futuremark是不是真的那么小纯洁大家都有自己的看法,至少去年Virtu MVP被揭露跑分作弊、Hwbot封杀Virtu跑分之时,Futuremark依然接受Virtu MVP跑分,即使他们强调了Virtu MVP开关跑分不具可比性。

Futuremark谈基准测试的准则与节操

责任编辑:

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...