大家好，eIQ Time SeriesStudio又和大家見(jiàn)面啦！本章為大家?guī)?lái)工具核心部分-模型訓(xùn)練。

Training模塊，用于Dataset模塊加載數(shù)據(jù)集后的模型訓(xùn)練。Training功能是核心技術(shù)，包括數(shù)據(jù)預(yù)處理、算法超參數(shù)自動(dòng)化搜索、基準(zhǔn)測(cè)試以及針對(duì)有限的Flash和RAM大小進(jìn)行最佳精度擬合優(yōu)化。模型性能也可以通過(guò)各種基準(zhǔn)指標(biāo)進(jìn)行評(píng)估。

功能布局

下圖顯示了“Training”模塊的布局，分為三個(gè)部分：

左側(cè)框架顯示了訓(xùn)練的所有記錄

中間的框架顯示了訓(xùn)練的配置信息和優(yōu)化過(guò)程

右側(cè)框架顯示了指定模型的驗(yàn)證集的基準(zhǔn)結(jié)果

左側(cè)框包含兩部分：Training Records和Models。

Training Records：記錄了用戶(hù)創(chuàng)建的所有訓(xùn)練任務(wù)。

Models：記錄了特定訓(xùn)練任務(wù)生成的算法模型；默認(rèn)情況下，模型按得分降序排列。得分取決于 RAM/Flash 占用大小以及基準(zhǔn)測(cè)試的一些常見(jiàn)評(píng)估指標(biāo)。

中間框包含兩部分：Training Info和Training。

Training Info：記錄了訓(xùn)練的時(shí)間、進(jìn)度和配置信息，包括日期、最大 RAM、最大 Flash、是否使用快速搜索、on-Device learn(僅用于異常檢測(cè))、訓(xùn)練/驗(yàn)證集比例和訓(xùn)練所用的數(shù)據(jù)文件。

Training：記錄了自動(dòng)機(jī)器學(xué)習(xí)的平衡準(zhǔn)確率、Flash 和 RAM 使用的變化曲線(xiàn)。

右側(cè)框架中的信息因不同的任務(wù)類(lèi)型而異，將在后續(xù)內(nèi)容中詳細(xì)介紹（基準(zhǔn)信息）。

訓(xùn)練過(guò)程

介紹如何開(kāi)始、暫停、停止和管理訓(xùn)練。

點(diǎn)擊“Start New Training”按鈕，會(huì)出現(xiàn)一個(gè)彈框供用戶(hù)配置。在點(diǎn)擊“Start”按鈕之前，請(qǐng)檢查針對(duì)不同算法任務(wù)可配置的選項(xiàng)。通常，用戶(hù)可以在不更改配置的情況下進(jìn)行訓(xùn)練并獲得最佳結(jié)果。

配置選項(xiàng)

異常檢測(cè)的配置選項(xiàng)如下。異常檢測(cè)算法基于半監(jiān)督機(jī)器學(xué)習(xí)，它支持在設(shè)備上進(jìn)行增量學(xué)習(xí)。

如果算法僅用于預(yù)測(cè)，請(qǐng)不要使能“On-Device Learn”這將會(huì)導(dǎo)致更大的 RAM/Flash占用

如果使用的數(shù)據(jù)集存在變化，可以啟用“On-Device Learn”以允許在設(shè)備上進(jìn)行訓(xùn)練

如果想快速獲得訓(xùn)練結(jié)果，請(qǐng)啟用“Quick Search”。此模式的搜索范圍不如默認(rèn)模式大

以下是分類(lèi)和回歸的配置選項(xiàng)：

共同的選項(xiàng)：

配置Train/Val Ratio，如果train/emulation準(zhǔn)確率不匹配或超出范圍，則調(diào)整數(shù)據(jù)文件中訓(xùn)練集和驗(yàn)證集的比例并再次訓(xùn)練和仿真。

訓(xùn)練配置完成或設(shè)置為默認(rèn)值后，單擊“Start”按鈕開(kāi)始訓(xùn)練，等待訓(xùn)練完成。

完成培訓(xùn)的時(shí)間取決于：

數(shù)據(jù)集的大小

選擇了什么樣的算法任務(wù)

不同的訓(xùn)練配置也可能導(dǎo)致不同的時(shí)間開(kāi)銷(xiāo)

訓(xùn)練開(kāi)始時(shí)，訓(xùn)練進(jìn)度條會(huì)不斷更新，計(jì)時(shí)器會(huì)一直計(jì)時(shí)，直到100%完成。

暫停/停止訓(xùn)練 在訓(xùn)練過(guò)程中，可以選擇點(diǎn)擊“Stop”按鈕停止訓(xùn)練或點(diǎn)擊“Pause”按鈕暫停訓(xùn)練，左側(cè)模型列表中存在的算法，可以被使用。

暫停后，可以在左側(cè)模型列表中查看任意模型的訓(xùn)練結(jié)果，或者點(diǎn)擊“Resume”按鈕繼續(xù)訓(xùn)練。

訓(xùn)練記錄管理

任務(wù)完成后，此次的訓(xùn)練信息將被記錄到訓(xùn)練記錄中，訓(xùn)練出的算法模型將會(huì)按照性能排序出現(xiàn)在模型列表中。

點(diǎn)擊“flowchart”和“report”按鈕，查看或下載相應(yīng)模型的流程圖和報(bào)告，以供進(jìn)一步參考。

從列表中選擇任意算法并點(diǎn)擊，可獲取如下基準(zhǔn)詳細(xì)信息。在訓(xùn)練圖中，紫色箭頭坐標(biāo)指示當(dāng)前選定的算法模型，用戶(hù)可以查看自動(dòng)機(jī)器學(xué)習(xí)訓(xùn)練曲線(xiàn)以及每個(gè)模型對(duì)應(yīng)的平衡準(zhǔn)確率、Flash和RAM使用情況。

另外，可以點(diǎn)擊“Delete”按鈕刪除相應(yīng)的訓(xùn)練記錄，刪除后該訓(xùn)練記錄下的所有模型信息也會(huì)同時(shí)被刪除。

模型列表與代碼許可

為了滿(mǎn)足用戶(hù)對(duì)算法透明度的要求，我們會(huì)根據(jù)發(fā)布版本保持所有支持模型的列表更新：

該表格重點(diǎn)展示了以下信息：

每項(xiàng)任務(wù)對(duì)應(yīng)的模型

用于訓(xùn)練的Python代碼源

Python代碼的許可證類(lèi)型

C代碼來(lái)源

基準(zhǔn)信息

支持時(shí)間序列的數(shù)據(jù)集的算法有三類(lèi)，分別是異常檢測(cè)、分類(lèi)和回歸。基準(zhǔn)信息因算法類(lèi)型的不同而不同。

異常檢測(cè)基準(zhǔn)信息

Balanced Accuracy: 從類(lèi)別中獲得平衡準(zhǔn)確率。

F1: F1分?jǐn)?shù)是反映分類(lèi)器全局性能的指標(biāo)，其值范圍為0到1。

Recall:召回率是分類(lèi)器找出所有正樣本的能力，值的范圍是0~1。

Flash:所選算法所需的最小Flash。

RAM:所選算法所需的最小RAM.

Execution Time: 基于LPC55S36（Cortex-M33，150 MHz，啟用硬浮點(diǎn)）平臺(tái)進(jìn)行一次推理的估計(jì)時(shí)間，同時(shí)您可以通過(guò)點(diǎn)擊時(shí)鐘按鈕來(lái)獲取執(zhí)行時(shí)間。

將鼠標(biāo)懸浮在指標(biāo)上，可查看它的解釋說(shuō)明和對(duì)應(yīng)的計(jì)算公式。

驗(yàn)證集結(jié)果分析:

在訓(xùn)練過(guò)程中，部分?jǐn)?shù)據(jù)會(huì)不時(shí)用于驗(yàn)證。訓(xùn)練曲線(xiàn)反映了這些結(jié)果，并作為準(zhǔn)確性指標(biāo)來(lái)衡量模型的性能。

x 軸表示驗(yàn)證樣本的索引（對(duì)于異常檢測(cè)，所有樣本都用于驗(yàn)證，而分類(lèi)則根據(jù)訓(xùn)練/驗(yàn)證比例來(lái)驗(yàn)證）

y 軸表示概率，其值標(biāo)準(zhǔn)化為0到1之間

綠點(diǎn)表示預(yù)測(cè)正確的樣本點(diǎn)，紅色表示預(yù)測(cè)異常的樣本點(diǎn)

學(xué)習(xí)曲線(xiàn):

對(duì)于支持“On-DeviceLearn”的模型，提供了學(xué)習(xí)曲線(xiàn)，展示了在訓(xùn)練過(guò)程中添加更多樣本的效果。

混淆矩陣:

對(duì)于異常檢測(cè)，混淆矩陣表包含正常和異常結(jié)果：

同時(shí)，您可以通過(guò)點(diǎn)擊百分比（%）按鈕來(lái)獲取百分比結(jié)果：

也可以通過(guò)點(diǎn)擊箭頭按鈕來(lái)查看統(tǒng)計(jì)結(jié)果：

分類(lèi)算法基準(zhǔn)信息 對(duì)于分類(lèi)任務(wù)，一些評(píng)估指標(biāo)與異常檢測(cè)一致，例如平衡準(zhǔn)確率、RAM、Flash和F1。

混淆矩陣:

對(duì)于分類(lèi)，混淆矩陣表重新縮放以適應(yīng)所有類(lèi)別，如下圖所示：

回歸算法基準(zhǔn)信息

R2:決定系數(shù)：

其公式可在回歸仿真指標(biāo)部分找到。

算法驗(yàn)證結(jié)果:

對(duì)每個(gè)target，都繪制了驗(yàn)證集的預(yù)測(cè)目標(biāo)值。

x軸表示驗(yàn)證樣本的索引。訓(xùn)練/驗(yàn)證比例決定了用于驗(yàn)證的樣本數(shù)量

y軸表示預(yù)測(cè)值

虛線(xiàn)表示真實(shí)值

評(píng)估指標(biāo):

對(duì)于回歸任務(wù)，給出了所有回歸目標(biāo)的MSE、RMSE、MAE、R2和SMAPE值。

MSE:均方誤差

RMSE:均方根誤差

MAE:平均絕對(duì)誤差

R2:決定系數(shù)

SMAPE:對(duì)稱(chēng)平均絕對(duì)百分比誤差

*注：公式中Yi 是第i個(gè)樣本點(diǎn)的真實(shí)值，Xi 為第i個(gè)樣本點(diǎn)的預(yù)測(cè)值。