|
機(jī)器學(xué)習(xí) (ML) 為創(chuàng)造智能產(chǎn)品提供了巨大的潛力，但神經(jīng)網(wǎng)絡(luò) (NN) 建模和為邊緣創(chuàng)建 ML 應(yīng)用非常復(fù)雜且困難，限制了開發(fā)人員快速交付有用解決方案的能力。雖然現(xiàn)成的工具使 ML 模型的創(chuàng)建在總體上更加容易，但傳統(tǒng)的 ML 開發(fā)實(shí)踐并不是為了滿足物聯(lián)網(wǎng) (IoT)、汽車、工業(yè)系統(tǒng)和其他嵌入式應(yīng)用解決方案的獨(dú)特要求而設(shè)計(jì)的。 本文首先對(duì) NN 建模進(jìn)行簡(jiǎn)要介紹，然后介紹并描述如何使用 NXP Semiconductors 的綜合 ML 平臺(tái)讓開發(fā)人員更有效地交付邊緣就緒的 ML 應(yīng)用。 NN 建模快速回顧 ML 算法為開發(fā)人員提供了截然不同的應(yīng)用開發(fā)選擇。開發(fā)人員不是編寫軟件代碼來明確解決諸如圖像分類等問題，而是提供一組數(shù)據(jù)——例如標(biāo)注了所含實(shí)體的真實(shí)名稱（或類別）的圖像——來訓(xùn)練 NN 模型。訓(xùn)練過程使用各種方法來計(jì)算模型的參數(shù)，即每個(gè)神經(jīng)元和每層的權(quán)重和偏置值，使模型能夠?qū)斎雸D像的正確類別提供相當(dāng)準(zhǔn)確的預(yù)測(cè)（圖 1）。 
圖 1：NN（例如此全連接網(wǎng)絡(luò)）使用訓(xùn)練期間設(shè)置的權(quán)重和偏置參數(shù)對(duì)輸入對(duì)象進(jìn)行分類。（圖片來源：NXP Semiconductors） 除圖 1 所示的通用全連接 NN 外，ML 研究人員還發(fā)展了范圍廣泛的 NN 架構(gòu)。例如，圖像分類應(yīng)用通常利用一種專門的架構(gòu)——卷積神經(jīng)網(wǎng)絡(luò) (CNN)，它將圖像識(shí)別分成兩個(gè)階段：初始階段查找圖像的關(guān)鍵特征，分類階段預(yù)測(cè)它可能屬于訓(xùn)練期間確定的多個(gè)類別中的哪一類（圖 2）。
圖 2：ML 專家使用專門的 NN 架構(gòu)——例如該卷積神經(jīng)網(wǎng)絡(luò) (CNN)——處理圖像識(shí)別等特定任務(wù)。（圖片來源：NXP Semiconductors） 盡管只有 ML 專家能夠選擇適當(dāng)?shù)哪Ｐ图軜?gòu)和訓(xùn)練方案，但多種開源和商用工具的出現(xiàn)極大地簡(jiǎn)化了大規(guī)模部署的模型開發(fā)。如今，開發(fā)人員使用幾行代碼便可定義模型（清單 1），然后利用開源 Netron 模型查看器等工具生成模型的圖形表示（圖 3），以檢查每一層的定義和連接。 def model_create(shape_in, shape_out): from keras.regularizers import l2 tf.random.set_seed(RANDOM_SEED) model = tf.keras.Sequential() model.add(tf.keras.Input(shape=shape_in, name='acceleration')) model.add(tf.keras.layers.Conv2D(8, (4, 1), activation='relu')) model.add(tf.keras.layers.Conv2D(8, (4, 1), activation='relu')) model.add(tf.keras.layers.Dropout(0.5)) model.add(tf.keras.layers.MaxPool2D((8, 1), padding='valid')) model.add(tf.keras.layers.Flatten()) model.add(tf.keras.layers.Dense(64, kernel_regularizer=l2(1e-4), bias_regularizer=l2(1e-4), activation='relu')) model.add(tf.keras.layers.Dropout(0.5)) model.add(tf.keras.layers.Dense(32, kernel_regularizer=l2(1e-4), bias_regularizer=l2(1e-4), activation='relu')) model.add(tf.keras.layers.Dropout(0.5)) model.add(tf.keras.layers.Dense(shape_out, activation='softmax')) model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc']) return model 清單 1：開發(fā)人員只需使用幾行代碼便可定義 NN 模型。（代碼來源：NXP Semiconductors）
圖 3：清單 1 中所定義模型的圖形表示，由 Netron 查看器生成，可以幫助開發(fā)人員記錄每一層的功能和連接。（圖片來源：Stephen Evanczuk，使用清單 1 中的 NXP 模型源代碼運(yùn)行 Netron） 對(duì)于最終部署，其他工具會(huì)剝離僅訓(xùn)練期間需要的模型結(jié)構(gòu)，并執(zhí)行其他優(yōu)化以創(chuàng)建高效的推理模型。 為智能產(chǎn)品開發(fā)基于 ML 的應(yīng)用為什么如此困難 為物聯(lián)網(wǎng)或其他智能產(chǎn)品定義和訓(xùn)練模型，與為企業(yè)級(jí)機(jī)器學(xué)習(xí)應(yīng)用創(chuàng)建模型的工作流程相似。然而，盡管相似，但為邊緣開發(fā) ML 應(yīng)用存在多種額外的挑戰(zhàn)。除模型開發(fā)外，設(shè)計(jì)人員還面臨一些常見的挑戰(zhàn)，即開發(fā)所需的主應(yīng)用以運(yùn)行其基于微控制器 (MCU) 的產(chǎn)品。因此，將 ML 引入邊緣需要管理兩個(gè)相互關(guān)聯(lián)的工作流程（圖 4）。
圖 4：為邊緣開發(fā)基于 ML 的應(yīng)用時(shí)，除了典型的嵌入式 MCU 開發(fā)工作流程外，還需要一個(gè) ML 工作流程來訓(xùn)練、驗(yàn)證和部署 ML 模型。（圖片來源：NXP Semiconductors） 雖然嵌入式開發(fā)人員熟悉 MCU 項(xiàng)目的工作流程，但當(dāng)開發(fā)人員努力創(chuàng)建一個(gè)優(yōu)化的 ML 推理模型時(shí)，ML 項(xiàng)目會(huì)對(duì)基于 MCU 的應(yīng)用提出額外的要求。事實(shí)上，ML 項(xiàng)目會(huì)極大地影響嵌入式設(shè)備的要求。模型執(zhí)行通常涉及繁重的計(jì)算負(fù)載和存儲(chǔ)器需求，這可能超出了物聯(lián)網(wǎng)和智能產(chǎn)品中使用的微控制器資源的能力。為了減少資源需求，ML 專家會(huì)運(yùn)用各種技術(shù)，例如：模型網(wǎng)絡(luò)修剪、壓縮、量化到較低精度，甚至使用單比特參數(shù)和中間值，以及其他方法。 然而，即使采用這些優(yōu)化方法，開發(fā)人員仍可能發(fā)現(xiàn)常規(guī)微控制器在處理與 ML 算法相關(guān)的大量數(shù)學(xué)運(yùn)算方面性能不足。另一方面，使用高性能應(yīng)用處理器可以處理 ML 計(jì)算負(fù)載，但這種方法可能導(dǎo)致延遲增加和非確定性響應(yīng)，影響其嵌入式設(shè)計(jì)的實(shí)時(shí)特性。 除了硬件選擇方面的挑戰(zhàn)，為邊緣提供優(yōu)化的 ML 模型還存在嵌入式應(yīng)用開發(fā)所特有的額外挑戰(zhàn)。為企業(yè)級(jí) ML 應(yīng)用開發(fā)的大量工具和方法，可能無法很好地?cái)U(kuò)展到嵌入式應(yīng)用開發(fā)人員的應(yīng)用和工作環(huán)境中。即使經(jīng)驗(yàn)豐富的嵌入式應(yīng)用開發(fā)人員，為了能夠快速部署基于 ML 的設(shè)備，也可能需要在大量可用的 NN 模型架構(gòu)、工具、框架和工作流程中竭力尋找有效的解決方案。 NXP 解決了邊緣 ML 開發(fā)的硬件性能和模型實(shí)現(xiàn)兩方面的問題。在硬件層面，NXP 的高性能 i.MX RT1170 跨界微控制器滿足了邊緣 ML 的廣泛性能要求。為了充分利用這一硬件基礎(chǔ)，NXP 的 eIQ（邊緣智能）ML 軟件開發(fā)環(huán)境和應(yīng)用軟件包提供了一種高效解決方案以創(chuàng)建邊緣就緒的 ML 應(yīng)用，它既適合沒有經(jīng)驗(yàn)的 ML 開發(fā)人員，也適合 ML 開發(fā)專家。 用于開發(fā)邊緣就緒 ML 應(yīng)用的高效平臺(tái) NXP 的 i.MX RT 跨界處理器兼具傳統(tǒng)嵌入式微控制器的實(shí)時(shí)、低延遲響應(yīng)與高性能應(yīng)用處理器的執(zhí)行能力。NXP 的 i.MX RT1170 跨界處理器系列集成了高能效 Arm®Cortex®-M4 和高性能 Arm Cortex-M7 處理器，以及運(yùn)行嚴(yán)苛應(yīng)用所需的大量功能塊和外設(shè)，包括嵌入式設(shè)備中基于 ML 的解決方案（圖 5）。
圖 5：NXP 的 i.MX RT1170 跨界處理器兼具傳統(tǒng)微控制器的高能效特性和應(yīng)用處理器的強(qiáng)大處理能力。（圖片來源：NXP Semiconductors） NXP 的 eIQ 環(huán)境完全集成到 NXP 的 MCUXpresso SDK 和 Yocto 開發(fā)環(huán)境中，專門用于促進(jìn)在利用 NXP 微處理器和微控制器構(gòu)建的嵌入式系統(tǒng)上實(shí)現(xiàn)推理模型。eIQ 環(huán)境中包含 eIQ 工具包，后者通過多個(gè)工具支持“自帶數(shù)據(jù)”(BYOD) 和“自帶模型”(BYOM) 工作流程，這些工具包括 eIQ Portal、eIQ Model Tool 和命令行工具（圖 6）。
圖 6：NXP 的 eIQ 工具包支持需要?jiǎng)?chuàng)建模型的 BYOD 開發(fā)人員和需要將自己的現(xiàn)有模型部署到目標(biāo)系統(tǒng)的 BYOM 開發(fā)人員。（圖片來源：NXP Semiconductors） eIQ Portal 旨在同時(shí)支持 ML 模型開發(fā)專家和新手開發(fā)人員的 BYOD 工作流程，它提供了一個(gè)圖形用戶界面 (GUI)，以幫助開發(fā)人員更輕松地完成模型開發(fā)工作流程的每個(gè)階段。 在開發(fā)的初始階段，eIQ Portal 的數(shù)據(jù)集管理工具幫助開發(fā)人員導(dǎo)入數(shù)據(jù)，從連接的相機(jī)中捕獲數(shù)據(jù)，或從遠(yuǎn)程設(shè)備中捕獲數(shù)據(jù)（圖 7）。
圖 7：eIQ Portal 的數(shù)據(jù)集管理工具有助于執(zhí)行準(zhǔn)備訓(xùn)練數(shù)據(jù)這一關(guān)鍵任務(wù)。（圖片來源：NXP Semiconductors） 開發(fā)人員使用數(shù)據(jù)集管理工具給數(shù)據(jù)集中的每個(gè)項(xiàng)目添加注釋或標(biāo)記，既可標(biāo)記整幅圖像，也可只標(biāo)記指定邊界框內(nèi)包含的特定區(qū)域。擴(kuò)展功能通過使圖像模糊、添加隨機(jī)噪聲、更改特征（如亮度或?qū)Ρ榷龋┘捌渌椒ǎ瑤椭_發(fā)人員為數(shù)據(jù)集提供所需的多樣性。 在下一階段，eIQ Portal 幫助開發(fā)人員選擇最適合應(yīng)用的模型類型。對(duì)于不確定模型類型的開發(fā)人員，模型選擇向?qū)?huì)根據(jù)應(yīng)用類型和硬件基礎(chǔ)引導(dǎo)開發(fā)人員完成選擇過程。如果已經(jīng)知道自己需要的模型類型，開發(fā)人員可以選擇 eIQ 安裝時(shí)提供的自定義模型或其他自定義實(shí)現(xiàn)方法。 eIQ Portal 引導(dǎo)開發(fā)人員完成下一關(guān)鍵訓(xùn)練步驟，并提供一個(gè)直觀的圖形用戶界面，以便用戶修改訓(xùn)練參數(shù)和查看模型預(yù)測(cè)精度隨每個(gè)訓(xùn)練步驟的變化（圖 8）。
圖 8：開發(fā)人員使用 eIQ Portal 的訓(xùn)練工具觀察每一步帶來的訓(xùn)練精度改善，并在必要時(shí)做出修改。（圖片來源：NXP Semiconductors） 在下一步，eIQ Portal GUI 幫助開發(fā)人員驗(yàn)證模型。在此階段，模型轉(zhuǎn)換至目標(biāo)架構(gòu)上運(yùn)行，以確定其實(shí)際性能。完成驗(yàn)證后，驗(yàn)證屏幕會(huì)顯示混淆矩陣——這是一個(gè)基本的 ML 驗(yàn)證工具，允許開發(fā)人員將輸入對(duì)象的實(shí)際類別與模型預(yù)測(cè)的類別進(jìn)行比較（圖 9）。
圖 9：eIQ Portal 的驗(yàn)證工具為開發(fā)人員提供在目標(biāo)架構(gòu)上運(yùn)行模型所產(chǎn)生的混淆矩陣。（圖片來源：NXP Semiconductors） 對(duì)于最終部署，該環(huán)境允許開發(fā)人員根據(jù)處理器選擇目標(biāo)推理引擎，包括： · Arm CMSIS-NN（通用微控制器軟件接口標(biāo)準(zhǔn)，神經(jīng)網(wǎng)絡(luò)）— 為在 Arm Cortex-M 處理器內(nèi)核上實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的性能最大化和內(nèi)存占用最小化而開發(fā)的神經(jīng)網(wǎng)絡(luò)內(nèi)核 · Arm NN SDK（神經(jīng)網(wǎng)絡(luò)，軟件開發(fā)套件）— 一套工具和推理引擎，用于在現(xiàn)有神經(jīng)網(wǎng)絡(luò)框架和 Arm Cortex-A 處理器之間搭建橋梁等 · DeepViewRT — 用于 i.MX RT 跨界 MCU 的 NXP 專有推理引擎 · Glow NN — 基于 Meta 的 Glow (graph lowering) 編譯器，由 NXP 針對(duì) Arm Cortex-M 內(nèi)核進(jìn)行優(yōu)化，使用 CMSIS-NN 內(nèi)核的函數(shù)調(diào)用或 Arm NN 庫(kù)（如有），或者從其自身的本地庫(kù)編譯代碼 · ONXX Runtime — Microsoft Research 的工具，旨在針對(duì) Arm Cortex-A 處理器優(yōu)化性能 · 用于微控制器的 TensorFlow Lite — TensorFlow Lite 的較小版本，為在 i.MX RT 跨界 MCU 上運(yùn)行機(jī)器學(xué)習(xí)模型而優(yōu)化 · TensorFlow Lit — TensorFlow 的一個(gè)版本，為較小系統(tǒng)提供支持 對(duì)于 BYOM 工作流程，開發(fā)人員可以使用 eIQ Model Tool 直接進(jìn)入模型分析和每層時(shí)間剖析。對(duì)于 BYOD 和 BYOM 工作流程，開發(fā)人員可以使用 eIQ 命令行工具訪問工具功能以及非直接通過 GUI 提供的 eIQ 特性。 除了本文描述的特性外，eIQ 工具包還支持一系列廣泛的功能，包括遠(yuǎn)遠(yuǎn)超出本文范圍的模型轉(zhuǎn)換和優(yōu)化。然而，為了快速開發(fā)邊緣就緒 ML 應(yīng)用的原型，開發(fā)人員通常可以快速完成開發(fā)和部署，幾乎不需要使用 eIQ 環(huán)境中許多較復(fù)雜的功能。事實(shí)上，NXP 的專業(yè)應(yīng)用軟件 (App SW) 包提供了完整的應(yīng)用，開發(fā)人員可以使用這些應(yīng)用立即開展評(píng)估，或?qū)⑵渥鳛樽约憾ㄖ茟?yīng)用的基礎(chǔ)。 如何使用應(yīng)用軟件包快速評(píng)估模型開發(fā) NXP 的應(yīng)用軟件包集生產(chǎn)就緒的源代碼、驅(qū)動(dòng)程序、中間件和工具于一體，提供完整的基于 ML 的應(yīng)用。例如，NXP 的 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包為基于傳感器輸入確定復(fù)雜系統(tǒng)的狀態(tài)這一常見問題提供了一個(gè)基于 ML 的快速解決方案（圖 10）。
圖 10：開發(fā)人員可以使用 NXP 的應(yīng)用軟件包（如 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包）立即開展評(píng)估，或?qū)⑵渥鳛槎ㄖ拼a開發(fā)的基礎(chǔ)。（圖片來源：NXP Semiconductors） ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包實(shí)現(xiàn)了一個(gè)完整的應(yīng)用解決方案，可檢測(cè)風(fēng)扇工作在四種狀態(tài)中的哪一種狀態(tài)： · ON · OFF · CLOGGED，當(dāng)風(fēng)扇開啟但氣流被阻擋時(shí) · FRICTION，當(dāng)風(fēng)扇開啟，但一個(gè)或多個(gè)風(fēng)扇葉片在運(yùn)行過程中遇到過大摩擦?xí)r 對(duì)于模型開發(fā)人員，同樣重要的是，ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包除包括 ML 模型外，還包括一個(gè)完整數(shù)據(jù)集，它代表了風(fēng)扇在這四種狀態(tài)下運(yùn)行的加速度計(jì)讀數(shù)。 開發(fā)人員可以研究 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包提供的代碼、模型和數(shù)據(jù)，以了解如何使用傳感器數(shù)據(jù)訓(xùn)練模型，創(chuàng)建推理模型，并針對(duì)驗(yàn)證傳感器數(shù)據(jù)集驗(yàn)證推理。事實(shí)上，NXP 的應(yīng)用軟件包中包含的 ML_State_Monitor.ipynb Jupyter Notebook 提供了一個(gè)開箱即用的工具，支持在任何硬件部署之前研究模型開發(fā)工作流程。 Jupyter Notebook 是一個(gè)基于瀏覽器的互動(dòng)式 Python 執(zhí)行平臺(tái)，允許開發(fā)人員立即查看 Python 代碼的執(zhí)行結(jié)果。運(yùn)行 Jupyter Notebook 會(huì)生成一個(gè) Python 代碼塊，緊接著出現(xiàn)該代碼塊的運(yùn)行結(jié)果。這些結(jié)果不是簡(jiǎn)單的靜態(tài)展示，而是通過運(yùn)行代碼得到的實(shí)際結(jié)果。例如，開發(fā)人員運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook 時(shí)，可以立即查看輸入數(shù)據(jù)集的摘要（圖 11）。
圖 11：NXP 的 ML_State_Monitor.ipynb Jupyter Notebook 讓開發(fā)人員以交互方式完成神經(jīng)網(wǎng)絡(luò)模型開發(fā)工作流程，查看 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包中提供的訓(xùn)練數(shù)據(jù)。[注：為展示目的，代碼被截?cái)唷＃荩▓D片來源：Stephen Evanczuk，運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook） Notebook 中的下一部分代碼為用戶提供了輸入數(shù)據(jù)的圖形顯示，以時(shí)間序列和頻率的單獨(dú)圖形呈現(xiàn)（圖 12）。
圖 12：Jupyter Notebook 為開發(fā)人員提供了風(fēng)扇狀態(tài)樣本數(shù)據(jù)集的時(shí)間序列和頻率顯示（OFF：綠色；ON：紅色；CLOGGED：藍(lán)色；FRICTION：黃色）。[注：為展示目的，代碼被截?cái)唷＃荩▓D片來源：Stephen Evanczuk，運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook） 其他代碼部分提供了進(jìn)一步的數(shù)據(jù)分析、規(guī)一化、整形和其他準(zhǔn)備工作，直至代碼執(zhí)行到清單 1 中顯示的模型創(chuàng)建函數(shù)定義 model_create()。接下來的代碼部分將執(zhí)行此 model_create() 函數(shù)，并打印出摘要以供快速驗(yàn)證（圖 13）。
圖 13：NXP 的 ML_State_Monitor.ipynb Jupyter Notebook 創(chuàng)建模型（如清單 1 所示）并顯示模型摘要信息。（圖片來源：Stephen Evanczuk，運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook） 在部分模型訓(xùn)練和評(píng)估代碼之后，ML_State_Monitor.ipynb Jupyter Notebook 顯示完整數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集（從訓(xùn)練數(shù)據(jù)集中排除的數(shù)據(jù)集的子集）的每個(gè)混淆矩陣。在這種情況下，完整數(shù)據(jù)集的混淆矩陣展現(xiàn)出良好的精度和一定的誤差，其中最明顯的是模型將一小部分?jǐn)?shù)據(jù)集混淆為處于 ON 狀態(tài)，而根據(jù)原始數(shù)據(jù)集的注釋，它們實(shí)際上處于 CLOGGED 狀態(tài)（圖 14）。
圖 14：開發(fā)人員可以查看混淆矩陣，這里以完整數(shù)據(jù)集的混淆矩陣為例。（圖片來源：Stephen Evanczuk，運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook） 在后面的代碼部分，模型被導(dǎo)出為幾種不同的模型類型和格式，由 eIQ 開發(fā)環(huán)境支持的各種推理引擎使用（圖 15）。
圖 15：NXP 的 ML_State_Monitor.ipynb Jupyter Notebook 演示了開發(fā)人員如何以幾種不同的模型類型和格式保存其訓(xùn)練模型。（圖片來源：Stephen Evanczuk，運(yùn)行 NXP 的 ML_State_Monitor.ipynb Jupyter Notebook） 推理引擎的選擇對(duì)于滿足特定性能要求至關(guān)重要。對(duì)于該應(yīng)用，NXP 測(cè)量了以幾種不同推理引擎為目標(biāo)的模型大小、代碼大小和推理時(shí)間（對(duì)單一輸入對(duì)象完成推理所需的時(shí)間），一個(gè)以 996 MHz 運(yùn)行，一個(gè)以 156 MHz 運(yùn)行（圖 16 和 17）。
圖 16：模型類型的選擇可能會(huì)顯著影響模型大小，不過這里顯示的巨大差異可能不適用于較大的模型。（圖片來源：NXP Semiconductors）
圖 17：根據(jù)情況不同，評(píng)估輸入對(duì)象所用的推理時(shí)間可能相差很大：是從 RAM 加載還是從閃存加載，或者處理器是以 996 MHz 的較高頻率運(yùn)行還是以 156 MHz 的頻率運(yùn)行。（圖片來源：NXP Semiconductors） 正如 NXP 指出的那樣，此樣例應(yīng)用使用的是一個(gè)非常小的模型，所以這些數(shù)字的差異相當(dāng)明顯，但對(duì)于復(fù)雜分類所用的大型模型，差異可能要小得多。 構(gòu)建用于狀態(tài)監(jiān)測(cè)的系統(tǒng)解決方案 除了用于交互式探索模型開發(fā)工作流程的 Jupyter Notebook，NXP 的 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包還提供完整的源代碼，用于在 NXP 的 MIMXRT1170-EVK 評(píng)估板上實(shí)現(xiàn)設(shè)計(jì)。評(píng)估板圍繞 NXP 的 MIMXRT1176DVMAA 跨界 MCU 構(gòu)建，提供一個(gè)全面的硬件平臺(tái)，并配備了額外的存儲(chǔ)器和多個(gè)接口（圖 18）。
圖 18：NXP 的 MIMXRT1170-EVK 評(píng)估板提供一個(gè)全面的硬件平臺(tái)，支持開發(fā)基于 NXP 的 i.MX RT1170 系列跨界 MCU 的應(yīng)用。（圖片來源：NXP Semiconductors） 將 MIMXRT1170-EVK 評(píng)估板與可選的 NXP FRDM-STBC-AGM01 傳感器板、Arduino 擴(kuò)展板和合適的 5 V 無刷直流風(fēng)扇（如 Adafruit 的 4468）堆疊起來，開發(fā)人員便可使用 NXP 的風(fēng)扇狀態(tài)應(yīng)用來預(yù)測(cè)風(fēng)扇的狀態(tài)（圖 19）。
圖 19：在 MIMXRT1170-EVK 評(píng)估板上構(gòu)建一個(gè)簡(jiǎn)單堆疊，開發(fā)人員便可測(cè)試 NXP 風(fēng)扇狀態(tài)樣例應(yīng)用。（圖片來源：NXP Semiconductors） 借助 MCUXpresso 集成開發(fā)環(huán)境 (IDE)，開發(fā)人員可以配置應(yīng)用以簡(jiǎn)單地獲取和存儲(chǔ)風(fēng)扇狀態(tài)數(shù)據(jù)，或立即使用 TensorFlow 推理引擎、DeepViewRT 推理引擎或 Glow 推理引擎對(duì)獲取的數(shù)據(jù)運(yùn)行推理（清單 2）。 /* Action to be performed */ #define SENSOR_COLLECT_LOG_EXT 1 // Collect and log data externally #define SENSOR_COLLECT_RUN_INFERENCE 2 // Collect data and run inference /* Inference engine to be used */ #define SENSOR_COLLECT_INFENG_TENSORFLOW 1 // TensorFlow #define SENSOR_COLLECT_INFENG_DEEPVIEWRT 2 // DeepViewRT #define SENSOR_COLLECT_INFENG_GLOW 3 // Glow /* Data format to be used to feed the model */ #define SENSOR_COLLECT_DATA_FORMAT_BLOCKS 1 // Blocks of samples #define SENSOR_COLLECT_DATA_FORMAT_INTERLEAVED 2 // Interleaved samples /* Parameters to be configured by the user: */ /* Configure the action to be performed */ #define SENSOR_COLLECT_ACTION SENSOR_COLLECT_RUN_INFERENCE #if SENSOR_COLLECT_ACTION == SENSOR_COLLECT_LOG_EXT /* If the SD card log is not enabled the sensor data will be streamed to the terminal */ #define SENSOR_COLLECT_LOG_EXT_SDCARD 1 // Redirect the log to SD card, otherwise print to console 清單 2：開發(fā)人員可以通過修改 sensor_collect.h 頭文件中包含的定義，輕松配置 NXP 的 ML 狀態(tài)監(jiān)測(cè)樣例應(yīng)用。（代碼來源：NXP Semiconductors） 該應(yīng)用的工作流程簡(jiǎn)單明了。main.c 中的主例程創(chuàng)建一個(gè)名為 MainTask 的任務(wù)，后者是位于 sensor_collect.c 模塊中的一個(gè)例程。 void MainTask(void *pvParameters) { status_t status = kStatus_Success; printf("MainTask started\r\n"); #if !SENSOR_FEED_VALIDATION_DATA status = SENSOR_Init(); if (status != kStatus_Success) { goto main_task_exit; } #endif g_sensorCollectQueue = xQueueCreate(SENSOR_COLLECT_QUEUE_ITEMS, sizeof(sensor_data_t)); if (NULL == g_sensorCollectQueue) { printf("collect queue create failed!\r\n"); status = kStatus_Fail; goto main_task_exit; } #if SENSOR_COLLECT_ACTION == SENSOR_COLLECT_LOG_EXT uint8_t captClassLabelIdx; CAPT_Init(&captClassLabelIdx, &g_SensorCollectDuration_us, &g_SensorCollectDuration_samples); g_SensorCollectLabel = labels[captClassLabelIdx]; if (xTaskCreate(SENSOR_Collect_LogExt_Task, "SENSOR_Collect_LogExt_Task", 4096, NULL, configMAX_PRIORITIES - 1, NULL) != pdPASS) { printf("SENSOR_Collect_LogExt_Task creation failed!\r\n"); status = kStatus_Fail; goto main_task_exit; } #elif SENSOR_COLLECT_ACTION == SENSOR_COLLECT_RUN_INFERENCE if (xTaskCreate(SENSOR_Collect_RunInf_Task, "SENSOR_Collect_RunInf_Task", 4096, NULL, configMAX_PRIORITIES - 1, NULL) != pdPASS) { printf("SENSOR_Collect_RunInf_Task creation failed!\r\n"); status = kStatus_Fail; goto main_task_exit; } #endif 清單 3：在 NXP 的 ML 狀態(tài)監(jiān)測(cè)樣例應(yīng)用中，MainTask 調(diào)用一個(gè)子任務(wù)來獲取數(shù)據(jù)或運(yùn)行推理。（代碼來源：NXP Semiconductors） MainTask 先執(zhí)行各種初始化任務(wù)，再啟動(dòng)兩個(gè)子任務(wù)中的一個(gè)，具體哪一個(gè)取決于用戶在 sensor_collect.h 中的設(shè)置： 如果 SENSOR_COLLECT_ACTION 被設(shè)置為 SENSOR_COLLECT_LOG_EXT，則 MainTask 啟動(dòng)子任務(wù) SENSOR_Collect_LogExt_Task()，收集數(shù)據(jù)并將其存儲(chǔ)在 SD 卡上（如已配置） 如果 SENSOR_COLLECT_ACTION 被設(shè)置為 SENSOR_COLLECT_RUN_INFERENCE，則 MainTask 啟動(dòng)子任務(wù) SENSOR_Collect_RunInf_Task()，針對(duì)所收集的數(shù)據(jù)運(yùn)行 Sensor_collect.h 中定義的推理引擎（Glow、DeepViewRT 或 TensorFlow）；如果定義了 SENSOR_EVALUATE_MODEL，則還會(huì)顯示相應(yīng)的性能和分類預(yù)測(cè) if SENSOR_COLLECT_ACTION == SENSOR_COLLECT_LOG_EXT void SENSOR_Collect_LogExt_Task(void *pvParameters) { [code deleted for simplicity] while (1) { [code deleted for simplicity] bufSizeLog = snprintf(buf, bufSize, "%s,%ld,%d,%d,%d,%d,%d,%d,%d\r\n", g_SensorCollectLabel, (uint32_t)(sensorData.ts_us/1000), sensorData.rawDataSensor.accel[0], sensorData.rawDataSensor.accel[1], sensorData.rawDataSensor.accel[2], sensorData.rawDataSensor.mag[0], sensorData.rawDataSensor.mag[1], sensorData.rawDataSensor.mag[2], sensorData.temperature); #if SENSOR_COLLECT_LOG_EXT_SDCARD SDCARD_CaptureData(sensorData.ts_us, sensorData.sampleNum, g_SensorCollectDuration_samples, buf, bufSizeLog); #else printf("%.*s", bufSizeLog, buf); [code deleted for simplicity] } vTaskDelete(NULL); } #elif SENSOR_COLLECT_ACTION == SENSOR_COLLECT_RUN_INFERENCE [code deleted for simplicity] void SENSOR_Collect_RunInf_Task(void *pvParameters) { [code deleted for simplicity] while (1) { [code deleted for simplicity] /* Run Inference */ tinf_us = 0; SNS_MODEL_RunInference((void*)g_clsfInputData, sizeof(g_clsfInputData), (int8_t*)&predClass, &tinf_us, SENSOR_COLLECT_INFENG_VERBOSE_EN); [code deleted for simplicity] #if SENSOR_EVALUATE_MODEL /* Evaluate performance */ validation.predCount++; if (validation.classTarget == predClass) { validation.predCountOk++; } PRINTF("\rInference %d?%d | t %ld us | count: %d/%d/%d | %s ", validation.classTarget, predClass, tinf_us, validation.predCountOk, validation.predCount, validation.predSize, labels[predClass]); tinfTotal_us += tinf_us; if (validation.predCount >= validation.predSize) { printf("\r\nPrediction Accuracy for class %s %.2f%%\r\n", labels[validation.classTarget], (float)(validation.predCountOk * 100)/validation.predCount); printf("Average Inference Time %.1f (us)\r\n", (float)tinfTotal_us/validation.predCount); tinfTotal_us = 0; } #endif } exit_task: vTaskDelete(NULL); } #endif /* SENSOR_COLLECT_ACTION */ 清單 4：NXP 的 ML 狀態(tài)監(jiān)測(cè)樣例應(yīng)用演示了獲取傳感器數(shù)據(jù)和對(duì)獲取的數(shù)據(jù)運(yùn)行所選推理引擎的基本設(shè)計(jì)模式。（代碼來源：NXP Semiconductors） 由于 NXP 的 ML 狀態(tài)監(jiān)測(cè)應(yīng)用軟件包提供了完整的源代碼以及全套必需的驅(qū)動(dòng)程序和中間件，因此開發(fā)人員可以輕松擴(kuò)展該應(yīng)用以增加特性，或?qū)⑵渥鳛槠瘘c(diǎn)來開發(fā)自己的定制應(yīng)用。 總結(jié) 在物聯(lián)網(wǎng)和其他應(yīng)用中的智能產(chǎn)品的邊緣實(shí)施 ML 可以提供一系列強(qiáng)大的功能，但現(xiàn)有 ML 工具和方法大多是為企業(yè)級(jí)應(yīng)用而開發(fā)的，邊緣 ML 開發(fā)人員使用起來往往很吃力。有了由跨界處理器和專門的模型開發(fā)軟件組成的 NXP 開發(fā)平臺(tái)，無論 ML 專家還是幾乎沒有 ML 經(jīng)驗(yàn)的開發(fā)人員都能更有效地創(chuàng)建專門設(shè)計(jì)的 ML 應(yīng)用，以滿足對(duì)高效邊緣性能的要求。 |
