关于CXL，你想知道的都在这里 半导体行业观察2023年03月08日09：59安徽指数级的数据增长促使计算行业开始进行突破性的架构转变，以从根本上改变数据中心的性能、效率和成本。为了继续提高性能，服务器正越来越多地转向异构计算架构，使用专门构建的加速器从 CPU 卸载专门的工作负载。CXL 的内存缓存一致性允许在 CPU 和加速器之间共享内存资源。此外，CXL 支持部署新的内存层，可以弥合主内存和 SSD 存储之间的延迟差距。这些新的内存层将增加带宽、容量、提高效率并降低总体拥有成本 (TCO)。凭借这些诸多优势，业界果断地将 CXL 融合为处理器、内存和加速器的高速缓存一致性互连。CXL通过一个叫做CXL 联盟的开放行业标准组织开发技术规范，促进新兴使用模型的性能突破，同时支持数据中心加速器和其他高速增强功能的开放生态系统。CXL简介：什么是 Compute Express Link？CXL是一个开放标准的行业支持的缓存一致性互连，用于处理器、内存扩展和加速器。从本质上讲，CXL 技术在 CPU 内存空间和连接设备上的内存之间保持内存一致性。这支持资源共享（或池化）以获得更高的性能，降低软件堆栈的复杂性，并降低整体系统成本。CXL 联盟已经确定了将采用新互连的三类主要设备：类型1设备：智能 NIC 等加速器通常缺少本地内存。通过 CXL，这些设备可以与主机处理器的 DDR 内存进行通信。类型2设备：GPU、ASIC 和 FPGA 都配备了 DDR 或 HBM 内存，并且可以使用 CXL 使主机处理器的内存在本地可供加速器使用，并使加速器的内存在本地可供 CPU 使用。它们还共同位于同一个缓存一致域中，有助于提升异构工作负载。类型 3 设备：内存设备可以通过 CXL 连接，为主机处理器提供额外的带宽和容量。内存的类型独立于主机的主内存。CXL 协议和标准CXL 标准通过三种协议支持各种用例：CXL.io、CXL.cache 和 CXL.memory。CXL.io：该协议在功能上等同于 PCIe 协议，并利用了 PCIe 的广泛行业采用和熟悉度。作为基础通信协议，CXL.io 用途广泛，适用于广泛的用例。CXL.cache：该协议专为更具体的应用程序而设计，使加速器能够有效地访问和缓存主机内存以优化性能。CXL.memory：该协议使主机（例如处理器）能够使用加载/存储命令访问设备连接的内存。这三个协议共同促进了计算设备（例如 CPU 主机和 AI 加速器）之间内存资源的一致共享。从本质上讲，这通过共享内存实现通信简化了编程。用于设备和主机互连的协议如下：类型 1 设备：CXL.io + CXL.cache类型2设备：CXL.io + CXL.cache + CXL.memory类型 3 设备：CXL.io + CXL.memoryCompute Express Link 与 PCIe：这两者有什么关系？CXL 建立在PCIe的物理和电气接口之上，其协议建立了一致性、简化了软件堆栈并保持与现有标准的兼容性。具体来说，CXL 利用 PCIe 5 功能，允许备用协议使用物理 PCIe 层。当支持 CXL 的加速器插入 x16 插槽时，设备会以每秒 2.5 千兆传输 (GT/s) 的默认 PCI Express 1.0 传输速率与主机处理器的端口进行协商。只有双方都支持 CXL，CXL 交易协议才会被激活。否则，它们作为 PCIe 设备运行。CXL 1.1 和 2.0 使用 PCIe 5.0 物理层，允许通过 16 通道链路在每个方向上以 32 GT/s 或高达 64 GB/s 的速度传输数据。CXL 3.0 使用 PCIe 6.0 物理层将数据传输扩展到 64 GT/s，支持通过 x16 链路进行高达 128 GB/s 的双向通信。CXL 2.0 和 3.0 有什么新功能？首先在内存池方面，CXL 2.0 支持切换以启用内存池。使用 CXL 2.0 交换机，主机可以访问池中的一个或多个设备。尽管主机必须支持 CXL 2.0 才能利用此功能，但内存设备可以是支持 CXL 1.0、1.1 和 2.0 的硬件的组合。在 1.0/1.1 中，设备被限制为一次只能由一台主机访问的单个逻辑设备。然而，一个 2.0 级别的设备可以被划分为多个逻辑设备，允许多达 16 台主机同时访问内存的不同部分。例如，主机 1 (H1) 可以使用设备 1 (D1) 中一半的内存和设备 2 (D2) 中四分之一的内存，以将其工作负载的内存需求与内存池中的可用容量完美匹配. 设备 D1 和 D2 中的剩余容量可由一台或多台其他主机使用，最多可达 16 台。设备 D3 和 D4 分别启用了 CXL 1.0 和 1.1，一次只能由一台主机使用。CXL 3.0 引入了对等直接内存访问和对内存池的增强，其中多个主机可以一致地共享 CXL 3.0 设备上的内存空间。这些功能支持新的使用模型并提高数据中心架构的灵活性。其次来到交换方面；通过转向 CXL 2.0 直连架构，数据中心可以获得主内存扩展的性能优势，以及池内存的效率和总体拥有成本 (TCO) 优势。假设所有主机和设备都支持 CXL 2.0，则“切换”通过 CXL 内存池芯片中的交叉开关集成到内存设备中。这可以保持较低的延迟，但需要更强大的芯片，因为它现在负责交换机执行的控制平面功能。通过低延迟直接连接，连接的内存设备可以使用 DDR DRAM 来扩展主机主内存。这可以在非常灵活的基础上完成，因为主机能够访问处理特定工作负载所需的尽可能多的设备的全部或部分容量。CXL 3.0 引入了多层交换，支持交换结构的实施。CXL 2.0 支持单层交换。借助 CXL 3.0，启用了交换结构，其中交换机可以连接到其他交换机，从而大大增加了扩展的可能性。第三，“按需”内存范例；类似于拼车，CXL 2.0 和 3.0 在“按需”的基础上为主机分配内存，从而提供更高的内存利用率和效率。该架构提供了为标称工作负载（而不是最坏情况）配置服务器主内存的选项，能够在需要时访问池以处理高容量工作负载，并为 TCO 带来更多好处。最终，CXL 内存池模型可以支持向服务器分解和可组合性的根本转变。在此范例中，可以按需组合离散的计算、内存和存储单元，以有效地满足任何工作负载的需求。第四，完整性和数据加密 (IDE)；分解——或分离服务器架构的组件——增加了攻击面。这正是 CXL 包含安全设计方法的原因。具体来说，所有三个 CXL 协议都通过完整性和数据加密 (IDE) 来保护，IDE 提供机密性、完整性和重放保护。IDE 在 CXL 主机和设备芯片中实例化的硬件级安全协议引擎中实现，以满足 CXL 的高速数据速率要求，而不会引入额外的延迟。应该注意的是，CXL 芯片和系统本身需要防止篡改和网络攻击的保护措施。在 CXL 芯片中实现的硬件信任根可以为安全启动和安全固件下载的安全和支持要求提供此基础。第五，将信令扩展到 64 GT/s；CXL 3.0 带来了标准数据速率的阶跃函数增加。如前所述，CXL 1.1 和 2.0 在其物理层使用 PCIe 5.0 电气：32 GT/s 的 NRZ 信号。CXL 3.0 秉承了以广泛采用的 PCIe 技术为基础构建的相同理念，并将其扩展到 2022 年初发布的最新 6.0 版 PCIe 标准。使用 PAM4 信号将 CXL 3.0 数据速率提高到 64 GT/s。我们涵盖了 PCIe 6 中 PAM4 信令的详细信息——您需要知道的一切。得益于CXL的出现，开发者可以简化和改进低延迟连接和内存一致性，显著提高计算性能和效率，同时降低 TCO。此外，CXL 内存扩展功能可在当今服务器中的直接连接 DIMM 插槽之上实现额外的容量和带宽。CXL 使得通过 CXL 连接设备向 CPU 主机处理器添加更多内存成为可能。当与持久内存配对时，低延迟 CXL 链路允许 CPU 主机将此额外内存与 DRAM 内存结合使用。大容量工作负载的性能取决于大内存容量，例如 AI。考虑到这些是大多数企业和数据中心运营商正在投资的工作负载类型，CXL 的优势显而易见。来自微信

什么是 CXL？ 本文由半导体产业纵横（ID：ICVIEWS）编译自 spiceworksCXL（Compute Express Link）可以提高数据中心内存的性能、可扩展性和灵活性。MemVerge 的 Steve Scargall 解释了 CXL 是什么、它是如何工作的，以及为什么它是各种应用程序的游戏规则改变者，例如 AI/ML、HPC、数据库和分析。他还强调了采用 CXL 标准化的云计算和数据中心基础设施的一些行业趋势。CXL 是一种新兴的开放式行业标准互连，彻底改变了以数据为中心的计算。凭借其在 CPU 和设备（例如加速器、内存扩展和持久内存设备）之间的高带宽和低延迟缓存一致性连接，CXL 有可能重塑数据中心内存的性能、可扩展性和灵活性。通过解决 AI/ML 应用程序面临的常见内存挑战并启用新的高性能内存架构，CXL 有望成为以数据为中心的计算的下一代互连。什么是 CXL？CXL 是一种行业采用的开放标准，为处理器、内存扩展和加速器提供高速缓存一致性互连。它基于 PCI Express (PCIe) 规范物理和电气接口，但为 AI/ML 应用程序提供了额外的功能和优势。CXL 可实现 CPU 内存空间与附加设备（例如加速器、GPU 或内存设备）上的内存之间的内存一致性。这意味着 CPU 和设备可以共享相同的内存视图并访问它，而无需任何软件干预或同步。CXL 还通过允许 CPU 以低延迟和高带宽访问连接设备上更大的内存池来扩展内存。这可以增加 AI/ML 应用程序的内存容量和性能。规范的三个主要版本描述了 CXL 标准。未来计划更多主要版本。现有主要版本的更新也将根据需要公布。每个主要版本都为以前的版本添加了新功能。CXL 1.0 ：CXL 的第一个版本，于 2019 年 3 月发布，基于 PCIe 5.0。它允许主机 CPU 使用缓存一致性协议 (CXL.cache) 访问加速器设备上的共享内存，并使用内存语义 (CXL.mem) 启用内存扩展。CXL 2.0 ：CXL 的第二个版本，于 2020 年 11 月发布，基于 PCIe 5.0。它支持 CXL 交换，将多个 CXL 设备连接到一个主机处理器或将每个设备连接到多个主机处理器。它还实现了设备完整性和数据加密功能。CXL 3.0 ：CXL 的第三个版本，于 2022 年 8 月发布，基于 PCIe 6.0。它支持比 CXL 2.0 更高的带宽和更低的延迟，并增加了设备热插拔、电源管理和错误处理等新功能。图 1 显示了每个主要 CXL 版本的功能比较。图 1：CXL 功能比较CXL 规范描述了三种允许设备相互通信的协议。http://CXL.io：PCIe 5.0 协议的增强版本，可用于初始化、链接、设备发现、枚举和寄存器访问。它为 I/O 设备提供非一致性加载/存储接口。CXL.cache ：一种缓存一致性协议，它定义了主机和设备之间的交互，允许连接的 CXL 设备使用请求和响应方法以极低的延迟有效地缓存主机内存。CXL.mem ：一种内存协议，它使用加载和存储命令为主机处理器提供对连接设备内存的访问，其中主机 CPU 充当主设备，CXL 设备充当从属设备。它可以支持易失性和持久性内存架构。至少，所有 CXL 设备都必须使用 http://CXL.io，但可以选择支持 CXL.cache 或 CXL.mem，或同时支持两者。这些组合派生出三种设备类型：类型 1 ：没有本地内存的专用加速器（例如智能 NIC）。设备依赖于使用 http://CXL.io 和 CXL.cache 协议对主机 CPU 内存进行一致访问。它们可以扩展 PCIe 协议功能（例如原子操作），并且可能需要实现自定义排序模型。类型 2 ：具有高性能本地内存（GDDR 或 HBM）的通用加速器（GPU、ASIC 或 FPGA）。要访问主机 CPU 和设备内存，设备可以使用 http://CXL.io、CXL.cache 和 CXL.mem 协议。它们可以支持连贯和非连贯事务。类型 3 ：没有本地缓存的内存扩展板和持久内存设备。设备可以使用 http://CXL.io 和 CXL.mem 协议通过加载和存储命令为主机 CPU 提供对内存的访问。它们可以支持易失性和持久性内存架构。基础设施用例CXL 是云和本地数据中心基础设施的游戏规则改变者，预计将很快得到广泛采用和标准化，包括：云计算CXL 可以使云服务提供商通过利用支持 CXL 的设备（例如加速器、内存扩展设备和持久性内存设备）为其客户提供更快、更高效的服务。云服务提供商每年在未使用或未充分利用的主内存（称为「搁浅内存」）上花费数十亿美元。应用程序可以更优化地使用集群中的计算节点按需访问的 CXL 设备池，从而优化数据中心资源。数据中心存储与云环境类似，虽然规模小得多，但 CXL 设备可以使数据中心运营商构建可持续发展的环境，并通过使用支持 CXL 的设备显著降低其基础设施成本和使用率。CXL 可以通过启用对内存驻留数据的低延迟和高带宽访问来提高块存储性能和可靠性。边缘计算CXL 可以使边缘计算平台通过使用支持 CXL 的设备（例如加速器、智能 NIC、内存扩展设备和持久内存设备）来处理不断增加的数据量和复杂性。在将数据发送到主数据中心之前在边缘处理数据可以减少流量并提高边缘计算性能、效率和安全性。网络CXL 可以使网络平台通过使用支持 CXL 的网络设备（例如智能 NIC、FPGA 和 ASIC）来处理不断增加的网络流量和复杂性。CXL 可以通过实现对设备内存的一致和非一致访问以及支持原子操作和自定义排序模型来提高网络性能、可扩展性和功能。应用用例应用程序将从支持 CXL 的基础架构中受益匪浅。一些主要的兴趣领域包括：1.AI/ML 加速CXL 可以为 GPU、ASIC 或 FPGA 等 AI/ML 加速器实现更快、更高效的 CPU 到设备和 CPU 到内存的连接。CXL 可以支持异构设备之间的一致性和非一致性事务、内存扩展和资源共享。允许应用程序处理更大的数据集，同时减少主机之间传输的数据量，从而缩短获得结果的时间。大规模内存、分析和图形数据库CXL 允许数据库访问无限的低延迟和高带宽内存，从而使系统能够在更大的数据池上工作。高性能计算CXL 可以通过利用支持 CXL 的加速器和内存池来提高高性能计算的性能、可扩展性和灵活性。CXL 3.0 引入了共享内存功能，允许许多计算节点就地访问内存驻留数据，而无需在运行前将其复制到本地，然后再将结果复制回来。使用 CXL 的行业标准互连加速以数据为中心的计算CXL 是一种新兴的开放式行业标准互连，可在 CPU 和设备（如加速器、内存扩展和持久内存设备）之间提供高带宽和低延迟缓存一致性连接。CXL 可以提高数据中心资源的性能、可扩展性和灵活性。CXL 可以帮助解决 AI/ML 应用程序面临的一些常见内存挑战，例如内存不足错误、溢出到磁盘以及数据/计算偏差。CXL 还可以支持需要大规模和高性能内存架构的新应用程序和用例，例如内存数据库、实时分析和高性能计算。由英特尔、AMD、Arm、Astera Labs、三星、美光、X-Conn 等众多行业领导者和创新者组成的不断壮大的生态系统支持 CXL。作为以数据为中心的计算的下一代互连，CXL 有望在不久的将来得到广泛接受和标准化。