機器學習，特別是深度學習，在計算機科學的許多領域都具有極大的破壞性。深度學習技術在解決眾所周知的困難的分類和回歸問題方面的成功，導致了它們在解決現實問題中的迅速采用。深度學習的出現被廣泛地歸因于一個良性循環(huán)，即大量數據集和高性能計算機硬件的可用性使深層模型訓練取得了根本性進展。本文作為一個新的和迅速發(fā)展的領域的計算機架構師的入門。我們回顧了機器學習自20世紀60年代誕生以來是如何演變的，并跟蹤了導致在過去十年中出現的強大的深度學習技術出現的關鍵發(fā)展。接下來，我們將回顧具有代表性的工作負載，包括最常用的數據集和跨越各種域的開創(chuàng)性網絡。除了討論工作負載本身之外，我們還詳細介紹了最流行的深度學習工具，并展示了有抱負的實踐者如何使用這些工具來描述和優(yōu)化dnn。本書的其余部分致力于機器學習的硬件和體系結構的設計和優(yōu)化。由于高性能硬件在機器學習成為一個實用解決方案的成功過程中起到了非常重要的作用，本章講述了最近為進一步改進未來設計而提出的各種優(yōu)化方案。最后，我們回顧了最近在該領域發(fā)表的研究，以及一個分類法，以幫助讀者理解不同的貢獻是如何在上下文中落下的。

　　這本書是打算為那些有計算機架構，電路，或系統(tǒng)背景的神經網絡的一般介紹。在引言（第1章）中，我們定義了關鍵詞匯表，回顧了這些技術的歷史和發(fā)展，并為在該領域提供額外的硬件支持提供了理由。然后，我們回顧神經網絡的基礎知識，從線性回歸到感知器，直到今天最先進的深度神經網絡（第2章）。范圍和語言的介紹應該讓任何人都能跟上，目標是讓社區(qū)站在同一頁上。雖然人們對這一領域的興趣激增，但有證據表明，許多術語被混為一談，而且在這一領域的理解上存在差距。我們希望這里所呈現的內容能夠辟謠，并為非專家提供共同點。在回顧之后，我們將深入討論工具、工作負載和特性。對于從業(yè)者來說，這可能是最有用的一章。我們首先概述現代神經網絡和機器學習軟件包（即TensorFlow、Torch、Keras和Theano），并解釋它們的設計選擇和差異，以指導讀者為其工作選擇正確的工具。在第三章的后半部分，我們介紹了一組常用的、開創(chuàng)性的工作負載，這些工作負載是我們在一個名為Fathom〔2〕的基準套件中組裝起來的，這些工作負載被分為兩類：數據集和模型，并解釋了為什么工作負載和/或數據集是決定性的，以及應該如何使用它。這一部分也有助于神經網絡論文的評論者更好地判斷貢獻。通過更好地理解每一個工作負載，我們認為可以對想法和貢獻進行更深思熟慮的解釋?；鶞蕼y試包含了CPU和GPU上的工作負載特性。第4章是在第3章的基礎上建立起來的，對于希望研究使用定制硬件加速神經網絡的架構師來說，這可能是最感興趣的。在本章中，我們回顧了Minerva加速器設計和優(yōu)化框架［114］，并詳細介紹了如何將高級神經網絡軟件庫與硬件CAD和仿真流結合起來，共同設計算法和硬件。我們特別關注Minerva方法，以及如何在神經網絡精度和功耗、性能和區(qū)域硬件權衡方面進行實驗。讀完本章后，研究生應該有信心評估自己的加速器/定制硬件優(yōu)化。在第五章中，我們對神經網絡論文的相關硬件進行了全面的調查，并開發(fā)了一個分類法，以幫助讀者理解和對比不同的項目。我們主要關注過去十年，并根據論文所涉及的計算堆棧的級別（算法、軟件、體系結構或電路）和優(yōu)化類型（稀疏性、量化、算術近似和容錯性）對論文進行分組建筑和電路會議；這項調查試圖捕捉本書出版時該地區(qū)建筑師最相關的作品。事實上，有太多的出版物，不可能把它們都放在一個地方。我們希望這項調查能起到一個起點的作用；分類法提供了一個順序，讓感興趣的讀者知道到哪里去了解更多關于某個特定主題的信息；而神經網絡硬件支持的偶然參與者在這里找到了一種比較和對比相關工作的方法。最后，我們通過指出還有哪些工作要做來消除深度學習研究硬件已經達到飽和點的神話。盡管關于這個主題的論文很多，但我們還遠遠沒有完成，即使是在監(jiān)督學習中。本章介紹了需要注意的領域，并簡要介紹了機器學習的其他領域。此外，雖然硬件在很大程度上是機器學習社區(qū)的一個服務行業(yè)，但我們確實應該開始考慮如何利用現代機器學習來改進硬件設計。這是一項艱巨的任務，因為它需要對方法的真正理解，而不是實現現有的設計，但如果說過去十年的機器學習教會了我們什么，那就是這些模型運行良好。計算機體系結構是計算機科學中最不正式的領域之一（幾乎完全基于經驗和直覺）。機器學習在重新思考我們如何設計硬件（包括貝葉斯優(yōu)化）方面可以提供最多的幫助，并展示了這些技術在硬件設計中的益處。