最近，人工智能（AI）和機器學(xué)習(xí)（ML）模型在各個領(lǐng)域的應(yīng)用都取得了顯著的進展，相關(guān)討論也在不斷增多。學(xué)界認為，AI和ML模型應(yīng)當(dāng)是透明的，可解釋的和可信的。

在此背景下，可解釋AI（XAI）領(lǐng)域在迅速擴張。通過解釋一些復(fù)雜模型，比如深度神經(jīng)網(wǎng)絡(luò)（DNN）結(jié)果如何生成，可解釋AI在提高人工智能系統(tǒng)可信度和透明度方面前景廣闊。此外，許多研究員和業(yè)內(nèi)人士認為，使用數(shù)據(jù)起源去解釋這些復(fù)雜的模型有助于提高基于人工智能系統(tǒng)的透明度。

本文對數(shù)據(jù)起源、可解釋AI（XAI）和可信賴AI（TAI）進行系統(tǒng)的文獻綜述，以解釋基本概念，說明數(shù)據(jù)起源文件可以用來提升基于人工智能系統(tǒng)實現(xiàn)可解釋性。此外，文中還討論了這個領(lǐng)域近期的發(fā)展模式，并對未來的研究進行展望。

對于有意了解關(guān)于數(shù)據(jù)起源，XAI和TAI的實質(zhì)的諸多學(xué)者和業(yè)界人士，希望本文能成為助力研究的一個起點。

一文章提綱

1. 引言

2. XAI和TAI的基本概念

3. 數(shù)據(jù)起源, XAI, TAI的文獻計量分析

4. 數(shù)據(jù)起源, XAI, TAI的關(guān)系的思考

5. 數(shù)據(jù)起源, XAI, TAI未來十年發(fā)展趨勢

6. 結(jié)論

二內(nèi)容總結(jié)

引言

人工智能的應(yīng)用廣泛，且對人類影響深遠。但現(xiàn)有的模型只有結(jié)果而不涉及過程，因此，很多人擔(dān)心這些模型不透明，不公平。比如“機器學(xué)習(xí)和深度學(xué)習(xí)是怎么工作，怎么產(chǎn)生結(jié)果”是一個黑箱問題。對此，有一個解決辦法是通過XAI，也就是建設(shè)TAI去解釋復(fù)雜模型。

作者引用文獻闡述XAI和TAI的技術(shù)方法——數(shù)據(jù)起源的重要性和有效性。本文對這三者進行文獻綜述并關(guān)注他們在數(shù)據(jù)科學(xué)中的應(yīng)用。基于關(guān)鍵詞在Scopus文獻庫中進行文獻搜索，采用滾雪球的策略研究2010年到2020年的論文。

XAI和TAI的基本概念

AI可解釋性和可信度的背景

作者先列舉了多例AI和機器學(xué)習(xí)的漏洞證明了提高可解釋性的重要。又說明TAl的基本原則是建立合法透明的AI系統(tǒng)。然后列舉各個國家在數(shù)據(jù)科學(xué)領(lǐng)域到XAI方法和戰(zhàn)略計劃，學(xué)者Wing擴充了計算機系統(tǒng)的維度，并認為需要權(quán)衡多種維度。

圖1 XAI和TAI的谷歌趨勢

圖2 文獻庫中論文的時間分布

實現(xiàn)XAI和TAI的技術(shù)途徑

圖3 ML模型分類及對應(yīng)XAI方法

這些方法可以生成結(jié)果，但是為了增加AI系統(tǒng)的透明度，需要應(yīng)用數(shù)據(jù)起源作為XAI的補充技術(shù)。

多方面的文獻計量分析

文中進行文獻計量分析去搜集這三者之間在論文中相互關(guān)聯(lián)的證據(jù)。作者說明選擇數(shù)據(jù)庫的原因和查詢的關(guān)鍵字以及分析工具是Bibliometrix和VOS Viewer。

圖4 參考文獻標(biāo)題中的單詞可視化詞云

圖5 關(guān)鍵詞共現(xiàn)圖聚類

三者關(guān)系思考

來源標(biāo)準的關(guān)注度和相關(guān)工作增加

作者進行文獻綜述，整理研究主題后得出：

圖6 三者話題相似度

文中也介紹了一些能夠使得Provenance文檔化的工具，比如W3C PROV本體，OpenML等。

數(shù)據(jù)起源實踐及對XAI和TAI的支持

對于現(xiàn)實世界的實踐，作者進行文獻綜述，講述數(shù)據(jù)起源模型類別，W3C PROV的六個組件，然后作者簡單介紹Renku等應(yīng)用工具軟件。

未來十年展望

本部分討論了在AI/ML模型中造成偏差的原因，數(shù)據(jù)不可追蹤，沒有數(shù)據(jù)起源支持的決定是不可信的。

這項工作是社會-技術(shù)交叉領(lǐng)域問題，需要從兩方面解決問題。

開發(fā)數(shù)據(jù)起源功能應(yīng)用前應(yīng)掌握用戶需求

應(yīng)開發(fā)更多的自動化工具記錄數(shù)據(jù)起源，并將其標(biāo)準化、使數(shù)據(jù)起源記錄可查詢可訪問。

結(jié)論

用事后解釋的方法來解釋AI或機器學(xué)習(xí)模型是不夠的，需要數(shù)據(jù)起源加入增加系統(tǒng)可信度和透明度。作者總結(jié)了文章行文順序，強調(diào)數(shù)據(jù)起源對于XAI和TAI的重要性。

審核編輯 ：李倩