正文内容 评论(0)
四、AI模拟测试
我们通过调整FIO特定参数,还原3个AI存储使用场景,来测试PE501 61.44TB SSD的性能。
每次测试前,我们都进行2次全盘顺序写入,让SSD进入稳态。
1、模拟 AI 训练的“数据喂料”(Data Ingestion)
多路 GPU 异步从 SSD 读取训练集,属于高并发、高队列深度的纯随机读/混合读。
我们将FIO参数设置为64队列深度、8线程、128KiB 块大小,纯随机读,测试时长1小时,测前预热半小时。
实测在128KiB相对较大的块大小下,PE501 61.44TB依然跑出了 10.8 万的随机读 IOPS。这意味着固态硬盘内部的闪存通道并发管理和主控性能极强,完全能够撑起多路 GPU 并行训练时的数据索取。
数据稳定性方面,除了2次全盘写入,我们还设置了1800秒(30分钟)的预热时间和 60 分钟的正式测试时间。在SSD进入稳态后,标准差(stdev)仅为 302.53 MiB/s,相对于13471 MiB/s的均值来说,波动率仅在2.2%左右。
对于 AI 训练,除了吞吐量,延迟的控制也至关重要。
观察clat percentiles,99.00%的请求延迟都在 8.98 ms 以内,而代表最极端卡顿的99.99%的请求延迟也仅仅只有11.08 ms。
最大延迟(12.63 ms)与平均延迟(4.75 ms)相差不到3倍,且没有出现企业级测试中常见的“秒级”掉速或长尾延迟卡顿。
2、模拟大模型“断点续训”(LLM Checkpointing)
在 LLM 训练中,Checkpointing 表现为大块(Large Block Size)、高并发、纯顺序写入。当训练运行到特定Step时,系统需要将数百亿甚至数万亿参数的权重(Weights)和优化器状态(Optimizer States)以最快速度从 GPU 显存刷写到 SSD 中,以防由于节点故障导致训练中断。
实测稳态下,平均写入速度3853MiB/s、标准差为363.71MiB/s(波动率约9.4%)。
需要注意的是,我们测试时已经进行了2次全盘写入,并预热30分钟,确保SSD在进入稳态后才开始时长1小时的测试。
在这种极端测试环境下,PE501 61.44TB平均写入速度依然稳定在3853MiB/s,标准差为363.71MiB/s(波动率约9.4%)。
本次测试在稳态下共计写入了13.2TB数据,平均延迟33.19ms。99.99%的写入请求都在79.17ms以内完成,最大延迟卡死在96.56ms,完全没有突破100毫秒。
在分布式训练中,最忌讳某个节点因为磁盘卡死(例如延迟突高到几秒)导致整个集群停下来等待。PE501将最大延迟控制在0.1秒以内,能完美保证大模型集群训练的整体步调一致。
3、模拟大模型推理的KV Cache(键值缓存交换)
在LLM推理或训练中,GPU显存往往装不下所有历史对话的KV缓存。此时系统需要将暂时用不到的KV缓存交换(Swap)到SSD中,需要时再读回。这类场景的典型特点是:小数据块(通常为4KiB)、高并发、读写混合(以读为主)。
我们使用4KiB(4k)块大小、70%读/30%写,8线程、每线程128队列深度的极端高并发随机读写配置来模拟KV Cache。
测试前依旧全盘写入2次并预热30分钟,测试时长则是1小时。
实测读取带宽1707MB/s、IOPS=437K,写入带宽767MB/s、IOPS=187K,总IOPS=624K。
这也就意味着每秒钟有超过62万个KV缓存切片在SSD和主机之间高频交换,这个吞吐量可以同时支撑数千个并发用户的Token生成,极大缓解了显存溢出(OOM)问题。
读取稳定性:stdev=10.45MiB/s,相对于均值1707MiB/s而言,波动率仅为0.6%。
写入稳定性:stdev=4623KiB/s,相对于均值749MiB/s而言,波动率仅为0.6%。
在总队列深度1024的极高压榨下,读取平均延迟仅1.93ms,写入平均延迟仅0.95ms。读请求的99.99%延迟在11.21ms以内,最大延迟23.30ms;写请求的99.99%延迟在8.85ms以内,最大延迟17.82ms。
在分布式推理或长文本训练中,最怕“长尾效应”(即99.99%的请求拖慢整个Batch)。PE501 将高并发下的最坏情况(99.99%)死死卡在11 ms以内,这在企业级 SSD 混合随机读写中属于顶尖梯队。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...


