解決方案旨在幫助零售商增強(qiáng)客戶滿意度并減少盜竊

MulticoreWare 公司開發(fā)了一款先進(jìn)的 AI 驅(qū)動(dòng)智能結(jié)算解決方案 RetailSentry AI，用于由 AMD 銳龍（ Ryzen ）嵌入式 8000 系列處理器提供支持的零售應(yīng)用。這款智能 POS 系統(tǒng)利用多個(gè) AI 模型，在處理器集成的 CPU、GPU 和 AMD XDNA神經(jīng)網(wǎng)絡(luò)處理單元（ NPU ）架構(gòu)上同時(shí)運(yùn)行。當(dāng)產(chǎn)品展示時(shí)，系統(tǒng)會(huì)捕捉其圖像、掃描其條形碼，并使用基于計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)對(duì)比商店的數(shù)據(jù)庫(kù)驗(yàn)證產(chǎn)品，然后將其添加至顧客購(gòu)物車。根據(jù)顧客的購(gòu)買情況，系統(tǒng)還能推薦顧客可能感興趣的補(bǔ)充產(chǎn)品，從而增加商店收入。該解決方案的獨(dú)特之處在于其集成的入店行竊檢測(cè)能力，該功能使用 AI 算法持續(xù)監(jiān)控顧客行為，發(fā)現(xiàn)可疑活動(dòng)。一旦檢測(cè)到潛在的盜竊行為，系統(tǒng)會(huì)生成即時(shí)由大型語(yǔ)言模型驅(qū)動(dòng)的警報(bào)，以實(shí)時(shí)通知附近的店員。

項(xiàng)目挑戰(zhàn)

傳統(tǒng)的結(jié)算系統(tǒng)在用戶遇到困難時(shí)通常需要工作人員進(jìn)行大量干預(yù)。由于系統(tǒng)效率低下或設(shè)計(jì)不佳，零售商還可能面臨高盜竊率，并錯(cuò)失通過(guò)數(shù)據(jù)分析推薦補(bǔ)充產(chǎn)品的機(jī)會(huì)。

MulticoreWare 業(yè)務(wù)開發(fā)總監(jiān) Manish Rawat 表示：“我們想構(gòu)建一款解決方案，解決零售自助結(jié)算通道和外賣食品站的三個(gè)常見問(wèn)題。我們需要系統(tǒng)能夠了解正在結(jié)算的產(chǎn)品，確保視覺(jué)識(shí)別與條形碼相匹配，同時(shí)還要檢測(cè)盜竊，并能實(shí)時(shí)提醒店員?！?/p>

在自助結(jié)賬過(guò)程中，掃描的產(chǎn)品名稱和圖像會(huì)通過(guò)采用目標(biāo)檢測(cè)的攝像頭收集，并與產(chǎn)品條形碼上的信息進(jìn)行對(duì)比。Rawat 說(shuō)道：“我們需要一款能夠執(zhí)行我們的多感知方法的處理器，將視覺(jué)傳感與條形碼數(shù)據(jù)相結(jié)合，并允許我們?cè)诙鄠€(gè) AI 模型上進(jìn)行推理?！?/p>

為了實(shí)現(xiàn)這一目標(biāo)，MCW 選擇了 AMD 銳龍嵌入式處理器，該處理器能夠在集成 CPU、GPU 和 NPU 的單個(gè)芯片上執(zhí)行所有這些任務(wù)，無(wú)需采用其他供應(yīng)商的多個(gè)芯片。

解決方案

MulticoreWare 的結(jié)算解決方案在基于計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)以及與條形碼驗(yàn)證相似度匹配的基礎(chǔ)上進(jìn)行構(gòu)建。產(chǎn)品識(shí)別是通過(guò)計(jì)算所檢測(cè)到的產(chǎn)品與數(shù)據(jù)庫(kù)中參考圖像之間的相似度來(lái)進(jìn)行的。條碼掃描器會(huì)讀取產(chǎn)品條形碼，以便快速準(zhǔn)確地結(jié)算，而 AI 目標(biāo)檢測(cè)則會(huì)交叉驗(yàn)證掃描產(chǎn)品，以檢測(cè)不匹配或不正確的掃描。如果一個(gè)條碼被換到一個(gè)價(jià)格更低的產(chǎn)品上，攝像頭會(huì)檢測(cè)到差異并觸發(fā)警報(bào)。對(duì)于欺詐和異常檢測(cè)，系統(tǒng)使用 Al 來(lái)識(shí)別可疑行為，如漏掃、條碼篡改或產(chǎn)品交換。結(jié)賬系統(tǒng)涉及的組件包括一個(gè)基于 Yolo 算法的目標(biāo)檢測(cè)模型，該模型在定制數(shù)據(jù)上訓(xùn)練以檢測(cè)產(chǎn)品；一個(gè)相似度檢查模塊，通過(guò)使用基于 ResNet 的模型提取特征來(lái)對(duì)比檢測(cè)到的產(chǎn)品與數(shù)據(jù)庫(kù)；一個(gè)異常/入店行竊檢測(cè)模塊，該模塊使用基于 CNN-LSTM 的模型監(jiān)控商店內(nèi)可疑活動(dòng)；以及一個(gè)使用 LLM 模塊，該模塊使用 LLAMA2 大語(yǔ)言模型生成響應(yīng)。

為了與這些模塊進(jìn)行交互，系統(tǒng)擁有一個(gè)集中的圖形用戶界面（ GUI ），用于監(jiān)控、管理和分析實(shí)時(shí)和歷史產(chǎn)品及監(jiān)控?cái)?shù)據(jù)?？刂泼姘灏óa(chǎn)品掃描區(qū)域的實(shí)時(shí)攝像頭傳輸；實(shí)時(shí)產(chǎn)品條碼掃描系統(tǒng)，顯示每款產(chǎn)品全面信息（包括名稱、價(jià)格、描述、品牌以及其它重要屬性）；以及允許用戶添加或刪除產(chǎn)品并顯示實(shí)時(shí)總數(shù)的購(gòu)物車詳細(xì)信息。這一控制面板視圖還包含重要的性能指標(biāo)，包括 CPU 及內(nèi)存利用率。該系統(tǒng)還包括一個(gè)實(shí)時(shí)攝像頭視圖，可即時(shí)顯示標(biāo)記的入店行竊事件，以及一個(gè)異常檔案，可以系統(tǒng)地對(duì)所有檢測(cè)到的事件進(jìn)行編目和存儲(chǔ)以供審查。

設(shè)計(jì)成效

管理密集且多樣化的 AI 工作負(fù)載并確保通過(guò)交互式圖形界面進(jìn)行沉浸式實(shí)時(shí)響應(yīng)，這對(duì)嵌入式器件是一項(xiàng)嚴(yán)峻挑戰(zhàn)。AMD 銳龍嵌入式 8000 系列處理器提供了強(qiáng)大的 x86 CPU 算力，具備至多 8 個(gè)“Zen 4”內(nèi)核（ 16 線程），并包含集成的 AMD Radeon顯卡，可優(yōu)化視覺(jué)處理和多媒體性能。此外，AMD 銳龍嵌入式 8845HS 處理器提供了至多 20 個(gè) PCle Gen4 通道，為處理信息提供了充足的 I/O 靈活性。

目標(biāo)檢測(cè)使用基于 Yolo 算法的模型進(jìn)行，其搭載在經(jīng)過(guò)定制數(shù)據(jù)訓(xùn)練的 AMD 處理器上，用于檢測(cè)掃描的產(chǎn)品。檢測(cè)到的產(chǎn)品的圖像被裁剪并保存以進(jìn)行相似度檢查。相似度檢查使用基于 ResNet 架構(gòu)的模型從檢測(cè)到的產(chǎn)品圖像中提取特性 embeddings（嵌入）。將這些嵌入與存儲(chǔ)在數(shù)據(jù)庫(kù)中的參考 embeddings 進(jìn)行比較，找出它們之間的相似度。

檢測(cè)店鋪攝像頭鏡頭中的可疑活動(dòng)涉及使用基于 CNN-LSTM 的分類模型來(lái)分析視頻幀并識(shí)別異常行為。這也是由 AMD 銳龍嵌入式處理器及其板載 XDNA架構(gòu)執(zhí)行的，這是銳龍嵌入式 x86 解決方案的新功能，可為各類 AI 模型在工業(yè)邊緣端實(shí)現(xiàn)快速流暢的 AI 推理與決策。

該系統(tǒng)會(huì)處理視頻流，根據(jù)預(yù)先定義的類別將活動(dòng)歸類為正?；蚩梢?。當(dāng)發(fā)現(xiàn)可疑活動(dòng)時(shí)，系統(tǒng)會(huì)觸發(fā)一個(gè)流程來(lái)保存特定片段以供審查。基于 Transformer 的架構(gòu)充當(dāng)圖像編碼器，從而生成 embeddings，與描述性文本標(biāo)簽生成的 embeddings 進(jìn)行對(duì)比。這一比較通過(guò)余弦相似度完成，其可測(cè)量圖像 embeddings 與文本 embeddings 在特征空間中的接近程度。

LLAMA2 大語(yǔ)言模型用于在系統(tǒng)中生成情境通知。該模型用于兩項(xiàng)關(guān)鍵任務(wù)：創(chuàng)建異常檢測(cè)警報(bào)和顯示購(gòu)物車中所添加產(chǎn)品的實(shí)情，從而增強(qiáng)用戶體驗(yàn)。

Rawat 表示：“AMD 銳龍嵌入式處理器助力我們部署最新的 AI 技術(shù)，通過(guò)實(shí)現(xiàn)快速準(zhǔn)確的產(chǎn)品掃描與驗(yàn)證，提供無(wú)縫、無(wú)憂的購(gòu)物體驗(yàn)，同時(shí)幫助零售商減少欺詐和盜竊情況。我們相信，這項(xiàng)核心技術(shù)可為未來(lái)打造更具變革性和互動(dòng)性的面對(duì)面購(gòu)物體驗(yàn)奠定基礎(chǔ)。”