文章
-
TPU-MLIR量化敏感層分析,提升模型推理精度2023-10-10 10:17
背景介紹TPU-MLIR編譯器可以將機(jī)器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運(yùn)行的bmodel模型。由于浮點(diǎn)數(shù)的計算需要消耗更多的計算資源和存儲空間,實際應(yīng)用中往往采用量化后的模型(也稱定點(diǎn)模型)進(jìn)行推理。相比于浮點(diǎn)數(shù)模型,量化模型的推理精度會有一定程度的損失。當(dāng)精度損失較大時,需要搜索模型中對精度影響較大的層,即敏感層,將其改回浮點(diǎn)類型,生成混精度模型進(jìn)行推理。以mo -
大象轉(zhuǎn)身,TPU-MLIR適配DragGAN模型前向操作2023-10-10 10:17