• 快科技
  • 中文科技资讯专业发布平台
Google每天处理20PB数据 37倍于三年前
2008-01-10 12:16:35  出处:快科技 作者:上方文Q 编辑:上方文Q   点击可以复制本篇文章的标题和链接
猜你想看:默认

Google的Jeff Dean和Sanjay Ghemawat近日披露,Google庞大的分布式计算集群现在平均每天都要处理20PB(20000TB)以上的数据,三大核心技术之一的MapReduce每天工作量超过10万个。

在2007年9月,MapReduce的工作量多达221.7万个,平均完成时间395秒,平均每个工作使用394台机器,一个月下来就要动用11081台服务器;当月每天Map输入数据403152TB,Map输出数据34774TB,Reduce输出数据14018TB,最终输出20756TB,也就是将近21PB。

Google还同时透露了2004年8月和2006年3月的MapReduce状态统计,对比之下更能看出Google的飞跃发展,单就处理数据量而言就是三年前的37倍。

Google每天处理20PB数据 37倍于三年前

最后再看看Google集群节点的标准配置:双路Intel Xeon 2GHz超线程处理器、4GB内存、两块160GB IDE硬盘、千兆以太网。这种机器在企鹅计算或戴尔那里价值大约2400美元,在Verio等处的主机托管费用一个月要900美元左右。一个MapReduce工作的硬件集群运行成本高达100万美元,而且这还不包括带宽费用、数据中心开销、员工工资等。


附注:

MapReduce:Google开发的C++编程工具,用于大规模数据集(大于1TB)的并行运算,“Map”(映射)和“Reduce”(简化)以及主要思想都是从函数式编程语言和矢量编程语言那里借来的。

Jeff Dean:天才架构师,Google大型并发编程框架MapReduce的作者。

Sanjay Ghemawat:Google基石之一、大规模分布式文件系统“Google FileSystem”(GFS)的主要作者,同时也是Google MapReduce以及Google BigTable的作者之一。

 

  • 文章纠错

  • 文章价值打分
    当前文章打分0 分,共有0人打分
    文章观点支持

    +0
    +0