HBM4：初步规范发布 传输速率翻倍
上月，JEDEC固态技能协会发布HBM4的初步规范。由于HBM的热卖，使得新规范的进展受到广泛关注。资料显示，HBM4将增加内存接口宽度，从每堆栈1024位增加到2048位。理论上，这可以实现传输速率的翻倍，从而显著提升数据处理能力。以英伟达H100为例，如果采取HBM4，理论上可以减少芯片数量而保持相同的性能，这将大大节省空间并降落本钱。此外，HBM4还将进一步实现堆叠技能的提升，估量将从现有的8层/12层发展到16层垂直堆叠，这将在同一物理空间内容纳更多的内存单元，显著提高内存容量和带宽。
为了实现HBM4的高性能，各大存储巨子如SK海力士、三星等都在积极研发前辈的封装技能，如稠浊键合等，将显著提升HBM4的可靠性和耐用性。例如，SK海力士在HBM 4中连续采取MR-MUF（批量回流模制底部添补）技能实现16层堆叠，作为替代方案而涌现的稠浊键合技能估量由于 HBM 标准放宽也将缓慢引入。
SK海力士还操持将HBM4根本芯片上采取台积电的前辈逻辑工艺，以支持更高的性能和定制化需求。今年早些时候，SK海力士和台积电宣告互助开拓HBM4基模。台积电的N5工艺许可更多的集成逻辑和功能，互连间距从9微米缩小到6微米，这对片上集成至关主要。随着技能的进步，HBM4将不仅排列在SoC主芯片阁下，部分还会转向堆栈在SoC主芯片之上，这种设计将改变芯片的设计和制造办法，促进存储器与逻辑芯片的异构集成。
天生式AI的发展对算力有着极高哀求，HBM4规范的发布将显著提升数据中央和超级打算机的算力水平，从而知足更繁芜、更大规模的AI模型的演习和推理需求。而更高的算力和性能将使得AI运用更加遍及和深入，不仅限于科研和高端运用领域，还将逐渐渗透到日常生活和事情的方方面面，如智能办公、自动驾驶、医疗诊断等。
UCIe2.0：简化芯粒设计 支持3D封装
8月7日，通用芯粒互连（UCIe）家当同盟发布2.0 规范。人工智能带给AI芯片最大的寻衅之一便是须要处理大量数据，这哀求各个组件包括CPU、GPU、加速器、内存和专用模块之间能够进行高效的通信。为了支持这些数据密集型任务，AI系统必须具备高带宽、低延迟、可扩展性和高能效的连接办理方案，芯片组件间的连接必须知足AI系统不断增长的带宽需求。UCIe的核心代价之一是定义了基于芯片的互连标准化框架，实现了不同供应商的芯片之间的无缝集成和通信。2.0 规范提升了系统级封装（SiP）的效率和性能，推动了芯片互连的标准化和互操作性，有利于为天生式AI供应更加强大的算力支持，同时降落开拓本钱和风险。
根据UCIe同盟释出的 UCIe 2.0 规范要点，首先是为任何具有多个芯粒的系统级封装构造的可管理性、调试和测试供应全面支持。这一改进确保了不同供应商的芯片能够无缝协同事情，形成统一的管理架构，从而简化了系统集成和故障排查流程，提高了系统的整体效率和可靠性。
在支持3D封装方面，UCIe 2.0规范着重优化了3D封装技能，比较传统的2D和2.5D封装，3D封装可缩短芯粒间的间隔，实现了更高的集成密度和旗子暗记传输速率，从而提高了整体系统的性能。这对付须要处理大量数据的天生式AI运用来说至关主要，由于它能够供应更高的带宽密度和能效比。
对此，干系专家指出，UCIe旨在建立封装级别的互连。UCIe 2.0通过引入一系列创新功能，显著提升了系统级封装的效率和性能。为天生式AI供应了更加强大的算力支持。在标准化的芯片互连办理方案和优化的封装技能根本上，开拓者可以更加高效地设计和集成系统，减少因兼容性和互操作性问题导致的开拓韶光和本钱摧残浪费蹂躏。
PCIe7.0：草案持续发布 或将支持光旗子暗记传输
PCIe作为一种高速串行打算机扩展总线标准，PCI-SIG组织不断推出新的版本知足高性能打算、数据中央、人工智能等领域日益增长的数据传输需求。即便最新一代的PCIe 7.0标准终极敲定可能要到2025年，但干系参与者已经跃跃欲试。今年4月，PCIe 7.0标准已经走到了Draft 0.5版。新标准的框架已经得到确认。
按照传统，这次PCIe 7.0标准带宽将再度翻番。PCIe 7.0每pin达到128GT/s的数据传输速率。此外，通过x16配置，PCIe 7.0可以供应高达512 GB/s的双向带宽，这对付须要高效数据传输的天生式AI运用来说至关主要。昔时夜模型达到万亿参数量时，要移动海量数据集，稳定、高带宽的互联至关主要，一旦数据传输成为瓶颈，芯片算力再高也都没故意义。
此外，随着AI模型的日益繁芜化，须要更多的加速器来协同完成打算任务。PCIe 7.0能够连接这些加速器，供应所需的带宽和load-store构造需求，从而支持更繁芜的AI模型演习和推理。同时，PCIe 7.0可使各部分根本举动步伐能够高效地协同事情，处理大型、繁芜的机器学习模型，提升整体打算效率。
依托光旗子暗记传输也是PCIe 7.0的一大亮点。PCIe 7.0规范可能会引入光旗子暗记传输技能，以知够数据中央日益提升的带宽需求。去年8月，PCI-SIG组建Optical Workgroup光学事情组，专注于光旗子暗记传输PCIe标准干系事情。业界普遍认为，光旗子暗记传输具有更高的带宽密度和更低的延迟，有助于提升数据中央的整体性能。
其余，在生态系统互操作性方面，PCIe 7.0规范的发布将推动干系生态系统的互操作性发展，促进不同组件之间的无缝连接和协同事情，推动天生式AI技能在各个领域的运用和遍及。
NVMe2.1：优化存储设备性能 增强数据安全保护
在近日举行的环球存储会议FMS 2024上，NVM Express组织发布了 NVMe 2.1规范，包括3个新规范的发布，并更新修订了现有的8个规范。NVM Express组织希望新规范能更好地统一AI、云、客户端和企业领域的存储，优化存储设备的性能，提升数据存储与访问效率。天生式AI模型须要大量的数据进行演习和推理，高速的数据传输能够显著提升模型演习和推理的效率，从而缩短开拓周期，加速AI运用的落地。
本次更新带来的NVMe新功能是支持在NVM子系统之间实时迁移PCIe NVMe掌握器。这一功能可使存储设备之间的数据迁移更加灵巧和高效。在天生式AI的运用处景中，这有助于实现数据的快速迁移和备份，保障数据的安全性和可用性。
NVMe 2.1还为固态硬盘供应了新的主机定向数据放置功能，这有助于简化生态系统集成，并向后兼容以前的NVMe规范。在天生式AI的运用处景中，这种功能使得数据可以更加灵巧地分布在不同的存储设备上，提升系统的扩展性和灵巧性。
NVMe 2.1还支持将部分主机处理任务offloading到NVMe存储设备。这有助于减轻主机的包袱，提升整体系统的效率。在天生式AI的运用中，这种功能可以使得AI模型在演习和推理过程中更加高效地利用打算资源。
本次更新还增强了数据安全保护。NVMe 2.1规范供应了主机管理加密密钥的功能，并通过“每I/O密钥”(Key Per I/O)实现高度细粒度加密。这种加密办法能够确保天生式AI处理的数据在存储和传输过程中得到充分地保护，防止数据透露和造孽访问。NVMe 2.1还支持TLS 1.3、DH-HMAC-CHAP等安全协议，以及暗藏处理后的介质验证等安全增强功能。这些功能进一步提升了存储系统的安全防护能力，为天生式AI的安全运行供应了保障。