正文内容 评论(0)
早在去年6月,我在B站UP:无情开评大佬那里看到了单盘15.36TB的2.5英寸SSD,当时就萌生了用全SSD打造一台NAS的种子 —— 当时的我绝对想不到,14个月之后,我真的用企业级SSD组装了一台全闪存NAS!
(BV:BV1i64y1t7Rj)
* 真正的全闪存NAS都是用在高端行业的,价格往往是百万起步。ET这次DIY的确实是全SSD NAS,但借用“全闪存”这个说法也只是想小小的标题党一下,还请行业大佬不要见笑。
引子
大概是在8月中下旬,西数SN640 7.68TB降至约3000元。根据旗舰店的商品详情,这是一款支持NVMe 1.3的企业级SSD,采用96层3D TLC NAND闪存颗粒,拥有很高的读写性能与耐久度。接近8TB只要约3000元,比4根消费级2TB TLC SSD还要便宜!唯一阻碍大家购买的就是它采用并不多见的U.2接口。
即使如此,我的心还是躁动了起来,并且顺手安利了@肥威 老师。
方案
想要在成品NAS上使用U.2 SSD,目前最好的选择就是威联通TS-h973AX。它提供5个3.5英寸盘位,2个U.2 / SATA盘位和2个2.5英寸盘位。处理器是基于ZEN架构的AMD V1500B,可以使用QuTS Hero系统,标配了2个10GbE电口和2个2.5GbE网口。完全可以胜任小型视频团队的当前素材和长期存储需要,官方定价约7000元。
但我并不满足于此:一方面是两个U.2只能组RAID1,空间利用率只有50%,降低了容量/价格比。另一方面就是V1500B处理器的性能还不够好,不能支撑我在这个NAS上做更多额外操作。
当然,威联通比TS-h973AX更高端的产品也有:比如提供12个U.2盘位的TS-h1290FX,或者4个3.5英寸盘和5个U.2盘位的TS-h987XU-RP —— 它们都采用了服务器级别处理器,不用问都知道价格一定很夸张。
所以,想要同时使用3块及以上U.2 SSD,我只能选择自己组装这条路了。
核心点是如何支持多块U.2 SSD。这里主要有3种方法:
- 自带U.2接口的服务器/工作站主板。优点是为长时间开机设计,稳定可靠,缺点是价格高。而且我也没接触过,不确定组装过程中会不会遇到额外问题。
- 普通主板+支持PCIe通道拆分的扩展卡。U.2 SSD也是走PCIe通道的,想要同时使用多块SSD,通常需要把主板上的x16插槽分成4个x4。绝大多数Intel主板都不支持这种拆分模式,所以需要一个带拆分芯片的扩展卡。不带阵列功能的扩展卡,价格倒是也不算离谱(4口580元,非全新),但使用时还需要搭配连接线,据说不是很好理线。
- 支持PCIe通道拆分的主板+普通扩展卡。少数主板是支持拆分功能的,这样就能搭配价格便宜的普通扩展卡来使用多块SSD。而且这种扩展卡支持直插,只要机箱放得下,就可以免去理线的问题。
巧合的是,ET在今年6月抢修电脑时购买的华硕TUF B450M-PRO S主板就支持PCIe拆分。这块主板买的时候不到500元,而普通扩展卡也就300元,成本完全可控!
* 构思阶段我也考虑了操作系统,但这部分留到后面再说。
组装
在确定方案之后,遇到了一个小问题是:我的主板提供1个PCIe x16、1个PCIe x4和1个PCIe x1。x16用于安装扩展卡和4块SSD,x4用于安装万兆网卡,那么就没有插槽安装显卡了 —— 虽然NAS并不需要图形性能,但没有显卡就无法开机。
解决方法是买一个X1接口显卡,或者把主板上的X1插槽切成开放式的(还是装X16显卡)。我选择了前者。一方面怕手残切坏了东西,另外也不想浪费一个正常显卡在上面。
* 为什么不换成5600G这样集成显卡的处理器?看主板说明书使用集成显卡CPU时,X16插槽好像只有X8带宽,这样就不能使用4块U.2 SSD了 —— 我不能100%确定5600G的情况,所以不敢贸然买新CPU。
虽然前期做了很多思考和验证,包括确认BIOS、说明以及在现有主机上安装NAS系统。但在执行时,我还是选择逐个操作:先买显卡,再买扩展卡,确认安装和供电等细节后,最后再买SSD。这样虽然拖慢了进度,但能做到随时止损 —— 收到硬盘的时候也是,先安装1块确认扩展卡能工作,再安装两块确认通道拆分正常,最后才把3块都插上 —— 虽然@北京硬盘之家 挺好说话的,但我也不想麻烦他再退货(毕竟上机上电的)。
* 原本想一口气买4块SN640的,付款时犹豫一下:3块7.68TB组RAID5或RAID Z,可用容量也有约14TB了,对于我们这个小工作室的素材来说足够了(而且后来开了压缩,利用率又提高了一级)。
其实是有计划换个机箱和电源,再好好拍个图的。但在调试完系统之后,感觉应该适可为止、能用即可。所以安装过程并没有用相机拍图,只是用手机做了简单记录。
配置清单
R7-3700X处理器(原有)
华硕TUF B450M主板(原有)
16GB DDR4内存*2 (原有)
PCIe x1亮机卡(120元)
PCIe x16转4个U.2扩展卡(299元)
三星240GB SSD做系统盘(原有)
AQC107万兆网卡(原有)
机箱、电源、CPU散热器(原有)
2个12cm静音风扇(约80元)
除硬盘以外配件的价值大概是3000元。选择时请注意下机箱长度:能插4个U.2的扩展卡,算上电源插头是314mm,机箱短了会放不进去,我这个TT S3就可丁可卯的。
系统
组装好硬件只是成功了一小半,必须安装系统后才能正常投入工作。我最初考虑的是TrueNAS (也就是FreeNAS的后续产品)。安装过程很顺利,也搞定了虚拟机,但很快发现这个系统太依赖命令行了:挂载EXFAT的USB移动硬盘需要命令行、将内部存储备份到外部硬盘需要命令行、一键清空回收站需要命令行、定时清空回收站也需要命令行……再加上页面中加着大量英文,我很快就学废弃坑了。
然后我尝试了Windows 10 Pro,也就是Win10专业版。选它的原因是比家用版多了软RAID功能(3盘以上的奇偶校验模式,类似RAID5但细节可能不太一样),然后也多了组策略等管理工具。这个图形界面很熟悉、很容易上手,但问题是Windows并不支持在SMB共享上的回收站功能 —— 在处理图片、视频素材时候还是挺容易误删除的,所以“回收站”是我的刚需。
* 顺便说一句:Windows的软RAID性能损失很大,我这个3块硬盘组阵列才这个表现。当然,应对万兆网络传输还是很富裕的。
之前很多人都觉的威联通的系统难用,不好上手。但经过这番折腾之后,我才发现品牌系统多成熟、多好用、多人性化。所以这篇文章只是ET自己的实践记录,并不是劝败贴,很有可能成为劝退贴。
到这里可能有人说为什么不试试“黑群晖”?我是觉得能用正版尽量用正版,买不起也选择开源软件(Win10专业版价格还能接受,而且不激活也能持续用)。所以在放弃了TrueNAS和Windows之后,我选择了另一个开源NAS系统:OpenMediaVault(OMV)。这一次,总算渐入佳境了!
OMV6
OMV是基于Debian Linux的开源NUS系统。硬件兼容性非常好,可以在包括树莓派在内的很多硬件上运行。我安装的是最新的OMV6。安装过程中有两个注意事项:① 选语言时要选英文,因为选中文会在命令行操作时遇到乱码,后面进入网页管理界面时候再改成中文就行了。②是软件更新源推荐选清华大学的源。
OMV系统本身功能比较简单,深度依赖OMV-Extras插件扩展包。网上有很多教程,针对老版本的上传时安装已经不能用了,而执行脚本的可能因为网络问题而无法正常运行 。我最后是找到了清华大学开源软件镜像站上OMV-Extra的地址,然后一个个敲进去执行安装的 —— 肯定不应该这么麻烦,但如果你遇到OMV-Extras无法安装的情况,相信我肯定可以解决的。
* 如果您也需要手动输入地址,可以先进入这个目录确认最新版的版本号
https://mirrors.tuna.tsinghua.edu.cn/OpenMediaVault/openmediavault-plugin-developers/pool/main/o/openmediavault-omvextrasorg/
OMV-Extra不仅提供了Docker,还带来了非常多的额外插件,可以实现ZFS、虚拟机、USB备份、自动关机等。总之,我想要的功能基本都能得到满足。界面虽然不如品牌系统那么好操作,但至少“插件”就像应用中心,界面的中文化也非常高。
最后,我用3块SN640组成了一个RAID Z1存储池(类似RAID5)、使用LZ4压缩提高了空间利用率(对照片文件压缩比很可观)。SSD本身大大提高了系统响应和文件信息查看速度,实测也可以轻松跑满万兆带宽(这里还有ZFS系统利用内存做缓存的关系)。
OMV里关于回收站的设置也很简单,可以为每个文件夹设置自动清空时间也更灵活。
为了不浪费处理器性能,我在上面安装了一个WIN10虚拟机。在这个虚拟机上登录相机笔记、溢图科技在各个平台上的发布账号,工作室小伙伴再也不用换一个人操作就要找我问一遍验证码了。
小结
因为老的NAS还在服役,目前没有时间重新给网络区离线,这次就先不上环境图了。然后16GB内存在运行虚拟机(8GB)和大文件读写时候会爆掉(ZFS太吃内存了),等双十一调整工作室电脑后再把内存补到32GB。
这次主要还是想满足自己折腾一下的心里。你说用这个“全闪存NAS”能给我们工作室提升多少效率,只能说没有机械硬盘工作后确实安静了不少……
其实我很清楚,无论是批量RAW转换还是4K视频剪辑,1、2台电脑同时访问NAS,并不会给硬盘读写和网络带宽带来多大的压力 —— 或者说吃满硬盘和网络之前,你的电脑先卡死了(在Mac Studio上用达芬奇播放4条4K轨道,网络需求也在2.5GbE范围内)。我追求全SSD和万兆网络,只是想比大家跑得稍微快一点,这样才能在测试之后告诉大家什么是刚刚好的、更划算的。
最后,附上一些用到的工具软件名称。如果您看完之后,多少有一点点收获,还请不要吝啬您的点赞和转发。
Rufus:将ISO写入到U盘里,做成安装盘。
FileZilla:通过SFTP向NAS上传文件,比如虚拟机用的安装镜像。
tightvnc:获得虚拟机的运行界面。OMV和OMV-Extra都没有提供这个功能,而TrueNAS就自带了网页版VNC。
Todesk:比通过VNC更稳定、更快速、更好用(中文的)。但要先用tightvnc完成系统安装,才能装Todesk。
putty:SSH工具,没有这类工具,就只能给NAS接上键盘鼠标然后自己敲命令了……