快科技1月29日消息，随着代理式AI应用的快速扩张，AI系统对内存的需求正在发生结构性转变。

据报道，AMD和高通正在评估在下一代AI产品和机架架构中引入SOCAMM内存模块。

SOCAMM最初被视为专为NVIDIA设计的内存标准，与传统焊接在主板上的LPDDR不同，SOCAMM采用模块化设计，可更换、可升级，并在容量、功耗和系统弹性间取得平衡。

而在代理式AI架构中，模型需要长时间维持上下文、状态和任务记忆，这使得系统对短期但大容量内存的需求显著增加。

与单纯依赖HBM相比，业界逐渐意识到需要引入另一层在成本、功耗和容量之间取得平衡的内存设计，因此，SOCAMM受到了广泛关注。

相关人士指出，SOCAMM可以让单一CPU或加速器平台配置达到TB级内存容量，使AI agent 能同时维持数百万个token的活跃状态。

虽然其带宽和吞吐量不及HBM，但在功耗效率和系统扩展性方面具有优势，被视为适合与HBM搭配使用的内存层级。

市场消息还显示，AMD和高通在SOCAMM的模块设计上可能采取与NVIDIA不同的路线。

这两家公司正在评估以方形模块形式配置DRAM，并将PMIC（电源管理IC）直接整合到模块本体之上，使电源调节可以在模块端完成。

在产品进度方面，NVIDIA已计划在其Vera Rubin中引入新一代SOCAMM 2，并预计随着出货规模的扩大，SOCAMM将成为 AI 系统的重要内存配置之一。

此前还有消息称，NVIDIA已向DRAM厂商提出了SOCAMM的年度需求规划，三星是主要供应来源，其次是SK海力士，美光则位居其后。