最近某開發(fā)嵌入式平臺(tái)的客戶到我們的協(xié)議測試Open Lab分析底層PCIe的問題。問題癥狀看起來很簡單，開發(fā)板上DSP主芯片的RC（Root Complex）端通過PCIe鏈路直連M.2 NVMe SSD，讀操作沒有任何問題，但是寫操作會(huì)失敗。前后折騰了6個(gè)多月，最后找到我們實(shí)驗(yàn)室通過SerialTek公司的Kodiak系列PCIe協(xié)議分析儀通過協(xié)議抓包的方式快速解決了問題。

下面是分析的大致步驟和過程。

1.我們先抓取一個(gè)read操作，讀取一個(gè)扇區(qū)512字節(jié)。

從上圖，我們看到，藍(lán)色底色部分是NVMe SSD controller去主內(nèi)存里面拿這個(gè)read command，成功完成。緊接著，SSD controller從NAND拿到數(shù)據(jù)后將這些數(shù)據(jù)通過4個(gè)128byte的memory write寫到主內(nèi)存。

2.我們再來抓取一個(gè)write操作，寫一個(gè)扇區(qū)512字節(jié)。執(zhí)行命令后，發(fā)現(xiàn)寫失敗。

從上圖可以看出，SSD controller在時(shí)間戳16.353.876.194.000這一行取到write command后，在藍(lán)色底色這一行報(bào)錯(cuò)，Unsupported Request。這一行是SSD controller發(fā)送Memory Read命令到內(nèi)存讀取512byte的數(shù)據(jù)，但是被RC端拒絕了。

在問題未仔細(xì)分析之前，我們開始覺得這是否可能和SSD的sector扇區(qū)的block size有關(guān)，因?yàn)橐话愣际?12byte，也有1K, 2K, 4K block size的。所以，我們就用ChatGPT先問了一下業(yè)內(nèi)是否有支持256byte sector大小的NVMe SSD。參看下圖。

結(jié)果找到全球只有Micron 一個(gè)M.2 SSD支持。

結(jié)果發(fā)現(xiàn)ChatGPT弄了一個(gè)大烏龍，整個(gè)Micron產(chǎn)品單頁中確實(shí)出現(xiàn)好多256，但是要么是256GB，AES Key Size 256 Bits，SHA 256，甚至256 sector或者256 words。所以，看來使用ChatGPT來給出建議還不是很靠譜啊。

我們再次仔細(xì)來分析該錯(cuò)誤，同時(shí)比對為什么read command可以成功，但是write command卻失敗了。直觀的對比發(fā)現(xiàn)可能和Max Read Request Size 有關(guān)。我們查找RC的手冊，發(fā)現(xiàn)它的規(guī)格Spec里面明確寫明RC接受的遠(yuǎn)端device的Max Read Request Size為256byte，但是我們抓包發(fā)現(xiàn)SSD的PCIe memory read request size是512 byte，這個(gè)應(yīng)該就是RC回復(fù)SSD的Unsupported Request的直接原因。

為了驗(yàn)證這個(gè)想法，我們在RC端在初始化的時(shí)加入一行代碼設(shè)置device端的Max Read Request Size為001 （該字段為3bit, 二進(jìn)制001表示256byte）。然后重新開機(jī)運(yùn)行寫操作，這次寫2048個(gè)字節(jié)，結(jié)果成功了。2048個(gè)字節(jié)分解成8次memory read，每次256字節(jié)，參見下圖。

至此，問題得到有效解決。當(dāng)然，平時(shí)有的時(shí)候也會(huì)發(fā)現(xiàn)你請求512byte，結(jié)果發(fā)送4次128 byte的情況，就像我們上面的read command一樣，解釋如下。

審核編輯：劉清