前言：

CXL的全名是Compute eXpressLink。CXL是Intel在2019年提出的，希望用CXL來實(shí)現(xiàn)計(jì)算、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)的解耦，并在CXL總線上提供持久內(nèi)存。

CXL發(fā)展到現(xiàn)在已經(jīng)有幾十家的會(huì)員。目前CXL協(xié)議共有個(gè)版本，分別是1.0，1.1，2.0和剛剛發(fā)布的3.0，協(xié)議規(guī)范可以在官網(wǎng)上下載（https://www.computeexpresslink.org/）。關(guān)于CXL，協(xié)議里面是這樣說的“CXL is alow-latency, high-bandwidth link that supports dynamic protocol muxing ofcoherency, memory access, and IO protocols, thus enabling attachment ofcoherent accelerators or memory devices”。從協(xié)議給出的定義可以看出，CXL是一種低延時(shí)，高帶寬的連接技術(shù)，主要支持一致性緩存，內(nèi)存和IO擴(kuò)展。

CXL是基于PCIe 5.0實(shí)現(xiàn)的連接技術(shù)，復(fù)用了很多PCIe協(xié)議的東西，這一點(diǎn)上與CCIX比較像，但又不完全一樣。說起CCIX和CXL，難免要相互對(duì)比。其實(shí)與其說是兩種技術(shù)對(duì)比，不如說是ARM和Intel兩大陣營的對(duì)抗。Intel具有一定的技術(shù)優(yōu)勢(shì)（至少在PCIe上）；但是ARM如日中天，客戶群體巨大。本文旨在一窺CXL協(xié)議，無意探討CCIX和CXL的路線之爭。相信大家經(jīng)過學(xué)習(xí)，會(huì)對(duì)兩種技術(shù)有自己的認(rèn)識(shí)。孰優(yōu)孰劣，誰會(huì)笑到最后，那是大佬們的事情。

滄海一聲笑，滔滔兩岸潮

浮沉隨浪，只記今朝

蒼天笑，紛紛世上潮

誰負(fù)誰勝出，天知曉

扯完閑話，書歸正傳。接下來的內(nèi)容是基于CXL 2.0協(xié)議的學(xué)習(xí)筆記。由于是第一次刷CXL協(xié)議，就還是按照協(xié)議的章節(jié)來。內(nèi)容主要是三方面，一是對(duì)協(xié)議的翻譯，由于英語水平和技術(shù)水平都有限，有些地方會(huì)不通順；二是自己的理解，直白說就是中翻中，把不通順的或者難懂的描述轉(zhuǎn)成大白話，這里可能會(huì)有一些不太準(zhǔn)確；三是一些基礎(chǔ)知識(shí)的補(bǔ)充，前面提到，CXL是在PCIe的基礎(chǔ)上發(fā)展而來，因此有不少復(fù)用PCIe協(xié)議的地方，但是CXL協(xié)議里面又不會(huì)闡述這些。我把暫時(shí)看不懂或者不太關(guān)心的部分都略過了，尤其是后半部分章節(jié)，日后如果有需要，二刷三刷的時(shí)候再補(bǔ)上。

背景知識(shí)之PCIe：

既然CXL是以PCIe 5.0為基礎(chǔ)，我們還是有必要先簡單了解一下PCIe協(xié)議。

PCIe是點(diǎn)到點(diǎn)的傳輸，采用的是低壓差分技術(shù)，一條通道（Lane）在發(fā)送（TX）和接收（RX）方向上共有四條信號(hào)線。PCIe 5.0的最大傳輸速率是32GT/s，也就是說單通道的最大速率是32Gb/s。如果想要提高PCIe的帶寬，就需要多條通道，就像高速公路要提高交通流量就需要擴(kuò)展更多的車道。所以經(jīng)常會(huì)看到x32，x16，x8這些描述，后面的數(shù)字就代表通道數(shù)。通道數(shù)不是隨意的，PCIe 5.0支持x1，x2，x4，x8，x12，x16和x32。簡單計(jì)算可以得知，PCIe5.0最大的帶寬是32*32/8=128GB/s，但這只是理論值，實(shí)際應(yīng)用中需要考慮編碼，數(shù)據(jù)包頭等開銷，有效帶寬肯定要小于理論值。

PCIe的拓?fù)浣Y(jié)構(gòu)如下圖。

Rootcomplex：簡稱RC，root complex主要負(fù)責(zé)PCIe報(bào)文的解析和生成。RC接受來自CPU的IO指令，生成對(duì)應(yīng)的PCIe報(bào)文，或者接受來自設(shè)備的PCIe TLP報(bào)文，解析數(shù)據(jù)傳輸給CPU或者內(nèi)存。

Endpoint：簡稱EP，PCIe終端設(shè)備，是PCIe樹形結(jié)構(gòu)的葉子節(jié)點(diǎn)。EP可以分為三類，legacy endpoint，PCI Express endpoint和Root Complex IntegratedEndpoints (RCiEPs)。

Switch：PCIe的轉(zhuǎn)接器設(shè)備，提供擴(kuò)展或聚合能力，并允許更多的設(shè)備連接到一個(gè)PCle端口。它們充當(dāng)包路由器，根據(jù)地址或其他路由信息識(shí)別給定包需要走哪條路徑。

PCIe可以分為三個(gè)獨(dú)立的邏輯層：事務(wù)層（TransactionLayer），數(shù)據(jù)鏈路層（Data Link Layer）和物理層（Physical Layer）。

在發(fā)送端，PCIe傳輸?shù)臄?shù)據(jù)從上到下，都是以數(shù)據(jù)包（packet）的形式傳輸?shù)?，每個(gè)都是有其固定的格式的。事務(wù)層負(fù)責(zé)創(chuàng)建TLP（Transaction Layer packet)；數(shù)據(jù)鏈路層接收事務(wù)層發(fā)來的TLP并創(chuàng)建DLLP（Data LinkLayer packet）；物理層接收DLLP，然后加上幀頭和幀尾，把數(shù)據(jù)分發(fā)到各個(gè)Lane傳輸。在接收端，物理層接收Lane上傳輸?shù)臄?shù)據(jù)，去掉幀頭和幀尾信息，發(fā)給數(shù)據(jù)鏈路層；數(shù)據(jù)鏈路層提取出TLP發(fā)給事務(wù)層；事務(wù)層解析TLP，取出有效負(fù)載數(shù)據(jù)。

這些是PCIe最基本的知識(shí)，后面用到啥再介紹。

第一章 介紹 1.1– 1.2 略。

1.3參考文檔

PCI Express Base Specification Revision 5.0 or later

ACPI Specification 6.3 or later

UEFI Specification 2.8 or later

PCI Firmware Specification 3.2 or later

MCTP Base Specification (DSP0236) 1.3.1 or later

Security Protocol and Data Model Specification 1.1.0 or later

1.4 概述 1.4.1 CXL

CXL在PCIe 5.0的基礎(chǔ)上復(fù)用三種類型的協(xié)議，分別 CXL.io，CXL.cache，CXL.memory。CXL.io用來發(fā)現(xiàn)，配置，寄存器訪問、錯(cuò)誤報(bào)告，主機(jī)物理地址（Host Physical Address，HPA）查找，中斷等。CXL.cache用來擴(kuò)展系統(tǒng)緩存。CXL.memory 用來擴(kuò)展系統(tǒng)存儲(chǔ)。其中CXL.cache和CXL.memory是備選的。三種 CXL 協(xié)議分別對(duì)應(yīng)一個(gè)接口。

如上圖中，右側(cè)的主機(jī)可以通過CXL連接左側(cè)的加速芯片，其中CXL.io擴(kuò)展外部I/O設(shè)備，CXL.cache擴(kuò)展緩存，CXL.memory擴(kuò)展存儲(chǔ)。

CXL2.0支持熱插拔、安全增強(qiáng)、持久內(nèi)存支持、內(nèi)存錯(cuò)誤報(bào)告和遙測(cè)。CXL 2.0還支持多扇出（Fan-out）單級(jí)交換，以及跨多個(gè)虛擬層次結(jié)構(gòu)共享設(shè)備的能力，包括對(duì)內(nèi)存設(shè)備的多域支持。如下圖，每種顏色標(biāo)識(shí)一個(gè)虛擬層次結(jié)構(gòu)。其中的MLD是多邏輯設(shè)備（Multi-Logic Device），是一個(gè)Type 3的設(shè)備，后面會(huì)講什么是Type 3設(shè)備。

1.4.2Flex Bus

關(guān)于Flex Bus，協(xié)議里面的原話是這樣說的“A Flex Bus port allowsdesigns to choose between providing native PCIe protocol or CXL over ahigh-bandwidth, off-package link; the selection happens during link trainingvia alternate protocol negotiation and depends on the device that is pluggedinto the slot.“

CXL也采用的是PCIe的物理層，所以對(duì)于同一個(gè)插槽上的設(shè)備，到底是CXL設(shè)備還是傳統(tǒng)PCIe設(shè)備呢？在上電啟動(dòng)時(shí)，主機(jī)識(shí)別出是PCIe設(shè)備還是CXL設(shè)備，之后FlexBus就像是一個(gè)二選一，選擇采用哪個(gè)協(xié)議。這樣插槽就可以兼容CXL卡或是PCIe卡。在CPU和設(shè)備之間可以插入一個(gè)或兩個(gè)可選的重定時(shí)器（Retimer），以延長通道長度。下圖是Flex Bus的示意電路。

插播一句，關(guān)于PCIe Retimer。隨著PCIe協(xié)議的不斷升級(jí)，頻率越來越高，對(duì)數(shù)據(jù)在線路中的傳輸長度提出了強(qiáng)烈挑戰(zhàn)。為了解決這一問題，PCIe協(xié)議在4.0版本中提出了Retimer。Retimer實(shí)際上是一種協(xié)議感知設(shè)備，能更好地將信號(hào)傳輸?shù)礁h(yuǎn)。

下圖中顯示，通過此端口可將一致性加速器或智能I/O設(shè)備連接到主機(jī)處理器。

下圖顯示了如何通過Flex Bus.CXL來擴(kuò)展內(nèi)存系統(tǒng)。

下圖顯示了CXL下游端口（Downstream Port）支持的連接。

1.5 Flex Bus鏈接功能

FlexBus提供了一種點(diǎn)對(duì)點(diǎn)互連，可以傳輸原始PCIe協(xié)議或動(dòng)態(tài)多協(xié)議CXL，以支持I/O、緩存和內(nèi)存協(xié)議。主要的鏈接屬性包括對(duì)以下功能的支持：

原始的PCIe模式，支持PCIe協(xié)議的全部功能

CXL模式

PCIe或CXL配置

信號(hào)速率32GT/s，降級(jí)速率16GT/s和8GT/s（CXL模式）

CXL鏈路寬度x16，x8，x4，x2（降級(jí)模式）和x1（降級(jí)模式）

CXL模式下對(duì)x4的分叉支持

1.6 Flex Bus 分層概述

CXL事務(wù)（協(xié)議）層分為兩個(gè)部分：處理CXL.io的邏輯和處理CXL.cahce和CXL.mem的邏輯。CXL鏈路層以相同的方式細(xì)分。如下圖所示，CXL.io近似PCIe協(xié)議的事務(wù)層和鏈路層，但是CXL.cache和CXL.mem走的是自己單獨(dú)的事務(wù)層與鏈路層（這是CXL延遲低的原因之一）。CXL ARB/MUX接口將來自兩個(gè)通路的流量交織。

此外，CXL可以選擇是否實(shí)現(xiàn)PCIe事務(wù)層和數(shù)據(jù)鏈路層，如果實(shí)現(xiàn)，則允許分別與CXL.io事務(wù)層和鏈路層聚合。作為鏈路training過程的結(jié)果，事務(wù)層和鏈路層被配置為在PCIe模式或CXL模式下運(yùn)行。

1.7 文檔范圍 略。

本章總結(jié)：這一章介紹了CXL的基本概念，CXL協(xié)議可以分為三個(gè)部分，分別是CXL.io，CXL.cache和CXL.mem。從Flex Bus分層結(jié)構(gòu)能夠看出來，CXL也是在PCIe的分層架構(gòu)上做了擴(kuò)展。但是和CCIX不同，CXL為CXL.cache和CXL.mem增添了新的事務(wù)層（Transaction Layer）和鏈路層（Link Layer），所以也可以認(rèn)為CXL.cache和CXL.mem是兩個(gè)全新的協(xié)議。

【待續(xù)】

審核編輯 ：李倩