一、方案介紹

該方案基于主控平臺(tái)STM32N6搭配ST的VD66GY圖像傳感器實(shí)現(xiàn)人體姿態(tài)的監(jiān)控，系統(tǒng)利用VD66GY傳感器采集環(huán)境圖像數(shù)據(jù)，隨后通過(guò)STM32N6處理器進(jìn)行高效的圖像分析和處理開(kāi)發(fā)。

二、主要元件簡(jiǎn)介

STM32N6

基于 Arm Cortex -M55 的微控制器，配備 ST神經(jīng)-ART加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器， 4.2MB連續(xù)型靜態(tài)隨機(jī)存取存儲(chǔ)器用于實(shí)時(shí)數(shù)據(jù)處理和多任務(wù)處理，專用嵌入式神經(jīng)處理單元（600 GOPS NPU &3 TOPS/W power consumption），圖像處理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、壞像素、降采樣、黑電平、曝光、去馬賽克、列轉(zhuǎn)換、對(duì)比度、裁剪、縮小、伽馬值、像素打包。

工程師可以將機(jī)器學(xué)習(xí)的推理處理任務(wù)分配給NPU，這樣一來(lái)，高效的Cortex-M處理器、ISP以及GPU就可以專注于處理其他系統(tǒng)級(jí)任務(wù)或是運(yùn)行用戶的應(yīng)用程序。這使得它能夠處理復(fù)雜的圖像識(shí)別和處理任務(wù)，如對(duì)象分割定位、姿態(tài)估計(jì)、物體分類、人臉/人像檢測(cè)、異常檢測(cè)等等。

ST官網(wǎng)提供多種開(kāi)發(fā)包和工具有自身的討論社區(qū)與wiki ，讓使用者有著大量的資源能夠使用與自由的開(kāi)發(fā)環(huán)境。

（詳細(xì)資料：STM32CubeN6 - 面向STM32N6系列的STM32Cube MCU軟件包（包含HAL、CMSIS器件以及在意法半導(dǎo)體開(kāi)發(fā)板上運(yùn)行的示例） - 意法半導(dǎo)體STMicroelectronics）

圖像傳感器-ST VD66GY

1.5M BSI 傳感器(1124x1364）,可采用RGB和RGB-IR兩種模式配置、動(dòng)態(tài)范圍可達(dá)60DB、每個(gè)像素尺寸為2.61μm，它們?cè)诳梢?jiàn)光和近紅外區(qū)域(940納米)表現(xiàn)出色。這些傳感器在 1124x1364 的分辨率格式下每秒可捕獲多達(dá) 88 幀圖像，并且提出了兩種像素矩陣版本:RGB 2x2 核心和 RGB-NIR4x4 核心。這些器件的像素構(gòu)造最大限度地減少了串?dāng)_，并在可見(jiàn)光和紅外區(qū)域都保持了高M(jìn)TF(調(diào)制傳遞函數(shù))。

ST還提供VD66GY S-Board可直接搭配STM32N6進(jìn)行配對(duì)開(kāi)發(fā)，提供從原型到量產(chǎn)的支持，不僅可以節(jié)約資源還能加快產(chǎn)品上市時(shí)間節(jié)點(diǎn)。

VD66GY S-Board是一款全面的多功能硬件套件，用于評(píng)估和集成 VD66GY 圖像傳感器。它包含所有必要的硬件，從電子元件到光學(xué)器件，以執(zhí)行全面的產(chǎn)品評(píng)估或立即將產(chǎn)品直接集成到系統(tǒng)的其余部分。其中嵌入了一個(gè)帶有 FFC 輸出連接器的 VD66GY 圖像傳感器、一個(gè) M12 鏡頭支架、一個(gè)默認(rèn)的非膠合鏡頭和一根帶狀電纜。套件中嵌入的非膠合鏡頭可以靈活地根據(jù)您的需要聚焦，或者簡(jiǎn)單地將其取下以使用不同的鏡頭。該套件配備 M12 鏡頭接口，可根據(jù)您的應(yīng)用定制各種 M12 或更小的現(xiàn)成鏡頭。其標(biāo)準(zhǔn) FFC 連接器允許連接各種長(zhǎng)度或引腳排列的電纜，以適應(yīng)您的設(shè)置。

（詳細(xì)資料：VD66GY - 緊湊、高靈敏度的 1.53 MP 彩色全局快門(mén)圖像傳感器 - 意法半導(dǎo)體STMicroelectronics）

三、主要功能和應(yīng)用

VD66GY影像傳感器收集前方影像數(shù)據(jù)，通過(guò)STM32N6進(jìn)行推理任務(wù)識(shí)別處理辨別出影像畫(huà)面中的物件類型進(jìn)行相應(yīng)功能設(shè)計(jì)。基于STM32N6主控和VD66GY傳感器的高性能特性，我們可以進(jìn)一步擴(kuò)展其應(yīng)用范圍和功能：智能工業(yè)的異常檢測(cè)、智能住宅的事件監(jiān)測(cè)、個(gè)人醫(yī)療保健的身體數(shù)據(jù)測(cè)量、機(jī)器人的碰撞檢測(cè)、汽車環(huán)境的感知、個(gè)人電子產(chǎn)品和運(yùn)動(dòng)設(shè)備的開(kāi)發(fā)。這樣不僅可以提高現(xiàn)有工業(yè)和商業(yè)應(yīng)用的效率和質(zhì)量，還可以拓展到更廣泛的智能技術(shù)應(yīng)用領(lǐng)域，為未來(lái)的技術(shù)革新奠定堅(jiān)實(shí)的基礎(chǔ)。

還可以借助STM32N6 的邊緣計(jì)算和人工智能技術(shù)（人員檢測(cè)、姿態(tài)估計(jì)、手勢(shì)特征）提升產(chǎn)品應(yīng)用服務(wù)范圍：

各種環(huán)境下遠(yuǎn)距離進(jìn)行高精度的人員檢測(cè)：智能門(mén)鈴、房間占用情況、報(bào)警系統(tǒng)。

高精度多姿態(tài)估計(jì)：行為分析、活動(dòng)監(jiān)測(cè)、跌倒監(jiān)測(cè)。

基于手部特征點(diǎn)的精確系統(tǒng)控制：非接觸式人機(jī)界面、智能電子產(chǎn)業(yè)。

?場(chǎng)景應(yīng)用圖

?產(chǎn)品實(shí)體圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢(shì)

STM32N6：

? 基于 Arm Cortex -M55 的微控制器，配備 ST神經(jīng)-ART加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器， 4.2MB連續(xù)型靜態(tài)隨機(jī)存取存儲(chǔ)器用于實(shí)時(shí)數(shù)據(jù)處理和多任務(wù)處理，專用嵌入式神經(jīng)處理單元（600 GOPS NPU &3 TOPS/W power consumption），圖像處理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、壞像素、降采樣、黑電平、曝光、去馬賽克、列轉(zhuǎn)換、對(duì)比度、裁剪、縮小、伽馬值、像素打包。

VD66GY ：

? 1.5M BSI 傳感器(1124x1364）,可采用RGB和RGB-IR兩種模式配置、動(dòng)態(tài)范圍可達(dá)60DB、每個(gè)像素尺寸為2.61μm，它們?cè)诳梢?jiàn)光和近紅外區(qū)域(940納米)表現(xiàn)出色。這些傳感器在 1124x1364 的分辨率格式下每秒可捕獲多達(dá) 88 幀圖像，并且提出了兩種像素矩陣版本:RGB 2x2 核心和 RGB-NIR4x4 核心。Global Shutter CIS適用于機(jī)器視覺(jué)，在移動(dòng)間拍照影像不會(huì)扭曲利于得到完整圖像做判斷。

?方案規(guī)格

STM32N6規(guī)格：

1. Arm 32位Cortex-M55, 3360 CoreMark，頻率高達(dá)800mhz， 32kbyte ICACHE, 32kbyte DCACHE

2. Arm MVE （M-Profile矢量擴(kuò)展），helium技術(shù)，TrustZone MPU, NVIC

3. 配備半精度、單精度和雙精度浮點(diǎn)運(yùn)算單元(FPU),支持向量和標(biāo)量的半精度、單精度和雙精度浮點(diǎn)數(shù)據(jù)類型

4. ST Neural-ART加速器，頻率高達(dá)1 GHz， 600 Gops， 288 MAC/cycle

5. 用于深度神經(jīng)網(wǎng)絡(luò)(DNN)推理功能的專用硬件單元，靈活的專用流處理引擎

6. 4.2 M byte SRAM

7. 128KB 緊密耦合型TCM(同步存儲(chǔ)器)RAM(具備糾錯(cuò)功能)，用于存儲(chǔ)關(guān)鍵的實(shí)時(shí)數(shù)據(jù);64KB 緊密耦合型TCMRAM(同樣具備糾錯(cuò)功能)，用于存儲(chǔ)關(guān)鍵的實(shí)時(shí)程序代碼，

8. 128 kbyte TCM（緊耦合內(nèi)存）RAM， ECC用于關(guān)鍵實(shí)時(shí)數(shù)據(jù)+64 kbyte指令TCM RAM， ECC用于關(guān)鍵實(shí)時(shí)例程

9. Arm TrustZone 和安全的i / o存儲(chǔ)器和外設(shè),SESIP 第3級(jí)，Arm PSA(平臺(tái)安全)認(rèn)證

10. 靈活的生命周期方案，包含 RDP功能和密碼保護(hù)的調(diào)試功能

11. ROM 中的安全啟動(dòng)代碼，對(duì)客戶可更新的“信任根”(uRoT)進(jìn)行解密和認(rèn)證，通過(guò)硬件專屬密鑰(HUK)實(shí)現(xiàn)數(shù)據(jù)的安全存儲(chǔ)

VD66GY規(guī)格：

1. 150萬(wàn)像素傳感器(1124x1364)，提供RGB和RGB-NIR兩種模式版本可供選擇

2. 3D 堆疊式傳感器，其 BSI像素尺寸為 2.61 微米x2.61 微米,圖像陣列尺寸為 2.9 毫米x3.6 毫米。光學(xué)格式為 4 英寸。

3. 尺寸:3.6 毫米x4.3 毫米

4. 全局快門(mén)技術(shù)

5. 雙通道發(fā)射器 MIPICSI-2(版權(quán) 2005-2010 MIPI聯(lián)盟公司 攝像機(jī)串行接口2(CSI-2)標(biāo)準(zhǔn)版本 1.0)版本 1.3，每條通道1.5 Gbps 的傳輸速率

6. 快速模式加 CCI 控制接口

7. 線性動(dòng)態(tài)范圍可達(dá) 60 分貝

8. 集成式溫度傳感器

9. 在全分辨率模式下，最高可達(dá)每秒 88 幀

10. 8 個(gè)可編程的 GPIO 端口，用于控制 LED 輸出，這些輸出與傳感器集成周期同步、脈寬調(diào)制控制、主/從式外部幀啟動(dòng)鏡像/翻轉(zhuǎn)讀出

11. 工作結(jié)溫:-30 攝氏度至 85 攝氏度

登錄大大通網(wǎng)站，查看原文，了解更多方案詳情！

原文鏈接：https://www.wpgdadatong.com.cn/reurl/UBF3Uj