視覺人工智能（即計(jì)算機(jī)視覺）是指允許系統(tǒng)感知和解釋視覺數(shù)據(jù)并根據(jù)對(duì)這些數(shù)據(jù)的分析做出自主決策的技術(shù)。這些系統(tǒng)通常具有用于獲取視覺數(shù)據(jù)的相機(jī)傳感器，該視覺數(shù)據(jù)作為輸入激活提供給在大型圖像數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)以識(shí)別圖像。視覺人工智能可以支持許多應(yīng)用，例如用于故障檢測的工業(yè)機(jī)器視覺、自動(dòng)駕駛汽車、安全應(yīng)用中的人臉識(shí)別、圖像分類、對(duì)象檢測和跟蹤、醫(yī)療成像、交通管理、路況監(jiān)控、客戶熱圖生成等。
在我之前的博客中，利用業(yè)界最強(qiáng)大的Arm MCUs為您的邊緣AI應(yīng)用提供動(dòng)力》中，我討論了采用Cortex的強(qiáng)大RA8系列MCU的一些關(guān)鍵性能優(yōu)勢®-M85內(nèi)核和氦氣使其非常適合語音和視覺AI應(yīng)用。如上所述，石英晶振更高性能的MCU以及更適合終端設(shè)備中使用的資源受限的MCU的瘦神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)，使這些邊緣AI應(yīng)用成為可能。
在這篇博客中，我將討論一個(gè)基于RA8D1支持圖形的MCU采用相同的Cortex-M85內(nèi)核，并使用氦氣來加速神經(jīng)網(wǎng)絡(luò)。RA8D1 MCUs提供了高級(jí)圖形功能、傳感器接口、大內(nèi)存和強(qiáng)大的Cortex-M85內(nèi)核的獨(dú)特組合，用于加速視覺人工智能神經(jīng)網(wǎng)絡(luò)，使其非常適合這些視覺人工智能應(yīng)用。
Renesas瑞薩進(jìn)口晶振已經(jīng)成功展示了氦的性能提升，在各種AI/ML用例中，氦的性能比Cortex-M7 MCU有顯著提高，在某些情況下提高了3.6倍以上。
其中一個(gè)用例是與視覺人工智能解決方案的領(lǐng)先提供商Plumerai合作開發(fā)的人員檢測應(yīng)用程序。這種基于攝像頭的人工智能解決方案已經(jīng)移植并優(yōu)化用于支持氦氣的手臂®皮質(zhì)®-M85內(nèi)核，成功展示了RA8D1設(shè)備的性能和圖形功能。
與Cortex-M7內(nèi)核相比，該應(yīng)用通過氦加速實(shí)現(xiàn)了3.6倍的性能提升和13.6fps幀速率，這對(duì)于沒有硬件加速的MCU來說是一個(gè)強(qiáng)大的性能。演示平臺(tái)以640x480分辨率從基于OV7740圖像傳感器的攝像機(jī)捕捉實(shí)時(shí)圖像，并在連接的800x480 LCD上顯示檢測結(jié)果。該軟件可以檢測和跟蹤攝像機(jī)幀內(nèi)的每個(gè)人，即使部分被遮擋也是如此，并在實(shí)時(shí)攝像機(jī)顯示器上顯示每個(gè)檢測到的人周圍繪制的邊界框。
Renesas采用RA8D1 MCUs的圖形和視覺AI應(yīng)用
Plumerai人員檢測軟件使用多層卷積神經(jīng)網(wǎng)絡(luò)，使用超過3200萬張標(biāo)記圖像進(jìn)行訓(xùn)練。占總延遲大部分的層是氦加速層，例如Conv2D和全連接層，以及深度卷積和轉(zhuǎn)置卷積層。相機(jī)模塊提供YUV422格式的圖像，該圖像被轉(zhuǎn)換為RGB565格式以在LCD屏幕上顯示。集成在RA8D1上的2D圖形引擎以256x192的分辨率調(diào)整RGB565的大小并將其轉(zhuǎn)換為ABGR8888，以輸入到神經(jīng)網(wǎng)絡(luò)中。然后，該軟件將ARBG8888格式轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)模型輸入格式，并運(yùn)行人員檢測推斷功能。RA8D1上的圖形LCD控制器和2D繪圖引擎用于將相機(jī)輸入渲染到LCD屏幕上，并在檢測到的人周圍繪制邊界框并顯示幀速率。人員檢測軟件使用大約1.2MB的閃存和320KB的SRAM，包括用于256x192 ABGR8888輸入圖像的內(nèi)存。
基準(zhǔn)測試是為了比較Plumerai的人員檢測解決方案以及使用Arm的CMSIS-NN內(nèi)核運(yùn)行TFMicro的相同神經(jīng)網(wǎng)絡(luò)的延遲。此外，對(duì)于Cortex-M85，禁用氦氣（MVE）的兩種解決方案的性能也進(jìn)行了基準(zhǔn)測試。該基準(zhǔn)測試數(shù)據(jù)顯示了純推理性能，并且不包括圖形功能的延遲，例如圖像格式轉(zhuǎn)換。
Renesas采用RA8D1 MCUs的圖形和視覺AI應(yīng)用
該應(yīng)用程序充分利用了RA8D1上的所有可用資源:高性能480MHz處理器
氦用于神經(jīng)網(wǎng)絡(luò)加速
用于存儲(chǔ)模型權(quán)重和輸入激活的大型閃存和SRAM
用于捕獲輸入圖像/視頻的相機(jī)接口
顯示人員檢測結(jié)果的顯示界面
瑞薩石英晶振還展示了基于RA8D1設(shè)備的多模態(tài)語音和視覺AI解決方案，該解決方案集成了視覺喚醒詞和人臉檢測和識(shí)別以及說話人識(shí)別。RA8D1 MCUswith Helium可以顯著提高神經(jīng)網(wǎng)絡(luò)性能，而無需任何額外的硬件加速，從而為實(shí)現(xiàn)AI和機(jī)器學(xué)習(xí)用例提供了一種低成本、低功耗的選擇。
瑞薩RA8D1微控制器組采用業(yè)界首款基于Arm的32位圖形支持微控制器（MCU）®皮質(zhì)®-M85（CM85）內(nèi)核，在480 MHz時(shí)提供超過3000個(gè)內(nèi)核點(diǎn)的突破性性能和卓越的圖形功能，支持高分辨率顯示和視覺AI應(yīng)用。這些是通用MCU器件，適用于工業(yè)自動(dòng)化、家用電器、智能家居、消費(fèi)電子、樓宇/家庭自動(dòng)化和醫(yī)療/保健細(xì)分市場中的各種高性能和計(jì)算密集型應(yīng)用。
RA8D1 MCUs貼片晶振集成了高性能CM85內(nèi)核和大容量存儲(chǔ)器以及豐富的外設(shè)集，包括具有并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D繪圖引擎、16位攝像頭接口和多個(gè)外部存儲(chǔ)器接口，針對(duì)各種圖形和視覺AI應(yīng)用的需求進(jìn)行了優(yōu)化。這些MCU提供176和224引腳封裝。類似安全元素的功能內(nèi)置了高級(jí)加密安全I(xiàn)P、不可變存儲(chǔ)、真正的安全啟動(dòng)和篡改保護(hù)，可實(shí)現(xiàn)真正安全的物聯(lián)網(wǎng)。
RA8D1 MCUs由靈活的軟件包和一套全面的硬件和軟件開發(fā)工具提供全面支持。
編碼
品牌
描述
頻率
603-25-173JA4I8
Renesas晶振
CRYSTAL 25.0000MHZ 12PF SMD
25 MHz
603-25-150JA4I
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-38.88-7JA4I
Renesas晶振
CRYSTAL 38.8800MHZ 12PF SMD
38.88 MHz
603-40-48JA4I
Renesas晶振
CRYSTAL 40.0000MHZ 12PF SMD
40 MHz
603-25-173JA4I
Renesas晶振
CRYSTAL 25.0000MHZ 12PF SMD
25 MHz
603-25-150JA4I8
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-38.88-7JA4I8
Renesas晶振
CRYSTAL 38.8800MHZ 12PF SMD
38.88 MHz
603-40-48JA4I8
Renesas晶振
CRYSTAL 40.0000MHZ 12PF SMD
40 MHz
278-24.8832-3SA2I
Renesas晶振
CRYSTAL 24.8330MHZ 10PF SMD
24.833 MHz
278-24.8832-3SA2I8
Renesas晶振
CRYSTAL 24.8330MHZ 10PF SMD
24.833 MHz
278-25.78125-1SA2I
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
278-25-336SA2I
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
278-25-336SA2I8
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
278-2578125-1SA2I8
康比電子
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
495-24.8832-2JB4I
Renesas晶振
CRYSTAL 24.8830MHZ 10PF SMD
24.883 MHz
495-24.8832-2JB4I8
Renesas晶振
CRYSTAL 24.8830MHZ 10PF SMD
24.883 MHz
495-25.78125-2JB4I
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
495-25-141JB4I
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
495-25-141JB4I8
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
495-2578125-2JB4I8
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
603-24-127JA4I
Renesas晶振
CRYSTAL 24.0000MHZ 12PF SMD
24 MHz
603-24-127JA4I8
Renesas晶振
CRYSTAL 24.0000MHZ 12PF SMD
24 MHz
603-25-150JA4C
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-25-150JA4C8
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
TXC晶振,貼片晶振,7M晶振
TXC晶振,貼片晶振,7S晶振
TXC晶振,貼片晶振,7A晶振
微晶晶振,32.768K晶振,CM9V-T1A壓電石英晶體
