2010年底，我们曾经亲身走进天津的国家超级计算中心，目睹了当时世界第一超算天河一号A的风采。世事变迁，性能堪比至少五个天河一号A的“泰坦”(Titan)又在美国的橡树岭国家实验室(ORNL)里屹立起来。接下来，我们就跟随国外记者的脚步，一同去探秘这个新的全球超算No.1。(友情提醒：图灰常灰常多哟……)

【从美洲虎到泰坦】

ORNL是美国能源部委托UT-Battelle公司管理的一个国家级核心科技研究基地，超级计算机只是他们的一个工具而已。上一代的“美洲虎”(Jaguar)建成于2005年，之后每年都在进行升级，泰坦则是一次超大规模的更新换代。

泰坦还是200个定制的19英寸机柜和18688个计算节点，但已经更换为最新的Cray XK7计算系统，内部配置也大为不同：登陆与IO节点翻番为512个；处理器还是AMD Opteron，但是从12核心变为16核心，总的核心数量从224256个增加到299008个；每颗处理器搭配开普勒架构的NVIDIA Tesla K20高性能计算卡，总计18688个GPU；系统内存每个节点原来是16GB，现在不但翻番为32GB，还有6GB GDDR5显存，总量从300TB增至710TB；硬盘是一万块标准的1TB 7200转2.5寸机械盘，总容量10PB，下次升级会增加到20-30PB。升级替换下来的老硬件照例都交还给Cray。

单单是CPU、GPU加在一起，整套系统就有177万亿个晶体管！

由于超算的大部分工作都是远程执行的，泰坦内部还有几十个10Gbps以太网链接，还接入了能源部能源科学网络(ESNET)的100Gbps骨干网内。

而在峰值浮点性能方面，美洲虎“只有”2.3PFlops，泰坦猛增了几乎十倍，超过20PFlops，也就是每秒钟可进行2亿亿次计算。

全速运行的时候，它需要消耗900万瓦特电力，典型负载下也要700万瓦特，而这也是唯一限制它扩充的地方。为了减少供电线厚度，电压是很高的480V而不是当地标准的208V。

泰坦的升级工作已经按时基本完成，并且立即就能投入科学计算工作，而且得益于Tesla计算卡的加盟，大量科学应用可以提速4-8倍。

至于泰坦是不是能够成功拿下第一，要到半个月后的新一届超算大会SC12上才会知晓，但就目前看来，已经是十拿九稳的了。

【走进橡树岭国家实验室】

外观朴实的美国橡树岭国家实验室大楼

访客中心

这里允许随便拍照

整个国家实验室的项目非常多，比如高通量同位素堆

以及散裂中子源——当然外人是进不去的

推门进入计算科学部

啥？国家实验室还公开卖珠宝？而且每个只要5美元？

UT-Battelle公司的标识

UT-Battelle公司管理着整个实验室

大楼平面图和部门分布

真的在卖珠宝哎

主角就在这个门里

美洲虎的痕迹还在

TOP500超算机构的认证证书

美洲虎系统两年前全球第三

【泰坦超级计算机内部探秘】

接下来就是泰坦本身了。看照片为主，必须要的时候我们会注释一下。

淘汰下来的费米架构计算卡Tesla M2050

旁边是等待上位的开普勒Tesla K20

每块板子上安装四颗十六核心Opteron处理器和四块Tesla K20计算卡

这下边是Cray定制的互联控制器

十六核心Opteron处理器

整个超级计算机就是由一个个这样的Cray XK7计算板组成的

拿去装入主机

供电系统

节点间的互联线缆错综复杂

网络与存储连接

风冷开关

散热系统温度监控：10℃

这是老的Cray XT5机柜，美洲虎的组成部分

热备份性能测试部分

存储阵列

基于Lustre的文件系统Spider，总容量10PB

网络部分

壮观的电话线

控制室，全天候值守

大量政府官员签名的一个老机柜
 

因为机房内噪音巨大，需要带上耳塞

变压器

供电线路

NVIDIA的Jonah Alben正在拍照——这可是GK110核心的设计师之一

水冷散热系统

外边的柴油发电机

在泰坦上数据生成的3D视觉模型

 

 

【泰坦的组装：跟DIY装机差不多】

也许你想知道如此一套规模宏大的超级计算机系统是怎么组装的，但说出来可能会让你觉得很没意思，跟普通人DIY装机并没什么两样，只不过设备略有不同，同样的工作需要重复N多次而已。

众人分工执行

硅脂是这样上的

无聊的拧螺丝

还是拧螺丝

一堆堆的Tesla K20，流口水吧

拆开防静电袋

安装

测试工作自然是必不可少的

组装测试完毕的计算板装入机柜

外边的图案其实是贴上去的