完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>
標簽 > 嵌入式視覺
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機器。嵌入式視覺涉及到兩種技術(shù)：嵌入式系統(tǒng)和計算機視覺（有時也稱為機器視覺）。本文詳細介紹了嵌入式視覺系統(tǒng),機器視覺嵌入式,嵌入式視覺方案等內(nèi)容。
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機器。嵌入式視覺涉及到兩種技術(shù)：嵌入式系統(tǒng)和計算機視覺（有時也稱為機器視覺）。嵌入式系統(tǒng)可以是任何基于微處理器的系統(tǒng)，它們完成特定的工作，且隨處可見，例如：汽車、廚房、消費電子、醫(yī)療器械等等；計算機視覺則使用數(shù)字處理和智能算法去理解圖像或者視頻，它是一個已經(jīng)被研究很久，但仍然方興未艾的領(lǐng)域?，F(xiàn)在，由于高計算能力、低價格且低功耗的處理器的出現(xiàn)，越來越多的計算機視覺應(yīng)用可以在嵌入式系統(tǒng)上實現(xiàn)；另一方面，由于需求之廣泛，嵌入式視覺的設(shè)備市場和微處理器市場均正獲得高速發(fā)展。
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機器。嵌入式視覺涉及到兩種技術(shù)：嵌入式系統(tǒng)和計算機視覺（有時也稱為機器視覺）。嵌入式系統(tǒng)可以是任何基于微處理器的系統(tǒng)，它們完成特定的工作，且隨處可見，例如：汽車、廚房、消費電子、醫(yī)療器械等等；計算機視覺則使用數(shù)字處理和智能算法去理解圖像或者視頻，它是一個已經(jīng)被研究很久，但仍然方興未艾的領(lǐng)域?，F(xiàn)在，由于高計算能力、低價格且低功耗的處理器的出現(xiàn)，越來越多的計算機視覺應(yīng)用可以在嵌入式系統(tǒng)上實現(xiàn)；另一方面，由于需求之廣泛，嵌入式視覺的設(shè)備市場和微處理器市場均正獲得高速發(fā)展。
嵌入式視覺的應(yīng)用
很明顯，嵌入式視覺技術(shù)能夠為多種應(yīng)用帶來 巨大的價值。根據(jù)IHS的最新研究預(yù)測，汽車應(yīng)用將是2013年嵌入式視覺市場發(fā)展的主要推動力。2013年車載用途的機器視覺處理器利潤預(yù)計會達到1.51億美元，而2011年和2012年的利潤分別是1.26億和1.37億美元。研究報告另外指出，在未來幾年，該市場將持續(xù)每年6-9%的增長
速度。到2016年，利潤將達到1.87億美元，相當(dāng)于6年CAGR達到8.2%。HIS的嵌入式處理器主任分析師，Tom Hackenberg表示，“嵌入式視覺可以從很對方面改善汽車的安全性和使用方便性，在某些應(yīng)用中起到關(guān)鍵性的作用，比如車道偏離告警系統(tǒng)，碰撞警告系統(tǒng)，自動泊車系統(tǒng)，疲勞偵測系統(tǒng)，盲區(qū)檢測系統(tǒng)”，“車載領(lǐng)域的整個嵌入式視覺市場，裝備量非常大，增長速度也非常快”。 嵌入式視覺技術(shù)在汽車領(lǐng)域的成功案例包括Mobileye基于視覺的輔助駕駛系統(tǒng)，iOnRoad輔助駕駛應(yīng)用和Roadefend徑衛(wèi)視覺駕駛員疲勞預(yù)警系統(tǒng)等，這些系統(tǒng)可以有效降低交通事故發(fā)生的幾率。
嵌入式視覺使用的其余2大市場是傳統(tǒng)的工業(yè)視覺應(yīng)用市場，和安防應(yīng)用市場。例如以色列IOImage智能視頻安防系統(tǒng)，以其高性能、易用性文明于業(yè)界。另一個案例是MG國際公司的泳池安全系統(tǒng)，旨在通過智能視頻監(jiān)控，防止游泳溺水。在工業(yè)視覺應(yīng)用領(lǐng)域，ABB，F(xiàn)UNUC（日本），三菱，川崎等公司，通過嵌入式視覺系統(tǒng)在工業(yè)機器人上的應(yīng)用，處于領(lǐng)先地位。
另外，嵌入式視覺在軍事領(lǐng)域獲得了廣泛應(yīng)用，包括視覺引導(dǎo)的導(dǎo)彈、無人偵察機、軍事機器人等。在高級的電子游戲機系統(tǒng)中，例如Xbox中，我們也能找到嵌入式視覺技術(shù)應(yīng)用的蹤跡。
正如同高速無線互聯(lián)是從高成本新奇技術(shù)起步一樣，目前為止，嵌入式視覺 一般只用于復(fù)雜昂貴的系統(tǒng)中，例如，毛發(fā)移植的手術(shù)機器人，制造業(yè)的質(zhì)量控制檢查系統(tǒng)等。
如何使用純FPGA來實現(xiàn)嵌入式視覺方案
嵌入式視覺是當(dāng)今科技最激動人心的領(lǐng)域之一。
關(guān)于使用Zynq SoC的嵌入式視覺應(yīng)用，熱心群眾們說的太多，我就不贅述了。今天我們換一個新的視角，來看看如何使用純FPGA來實現(xiàn)嵌入式視覺方案。
這篇文章，將帶你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒體音視頻開發(fā)板來實現(xiàn)一個簡單的HDMI輸入/輸出視頻處理系統(tǒng)。特別是如果你是一名新手，通過本文，你會對基于FPGA的視頻處理有更多基本的理解。
坦白說，Digilent Nexys Video開發(fā)板可能是市面上性價比最高的音視頻處理FPGA口袋實驗室了。作為一款專用于音視頻處理教學(xué)以及視頻和視覺應(yīng)用原型開發(fā)的評估板，此板搭載了Xilinx Artix-7系列中資源最大的器件Aritx-7 XC7A200T FPGA。
今天我們就來介紹一下如何使用Nexys Video來實現(xiàn)一個簡單的HDMI輸入/輸出視頻處理系統(tǒng)。先來看下此板所集成的支持視頻接收、處理和生成/輸出的下列I/O和外設(shè)接口：
HDMI輸入
HDMI輸出
顯示輸出端口
以太網(wǎng)
UART
USB
512MB DDRSDRAM
線路輸入（Line In）/麥克輸入/耳機輸出/線路輸出（Line Out）
FMC
使用VHDL與RTL方法，要創(chuàng)建一個簡單的圖像處理流水線，我們需要實現(xiàn)如下架構(gòu)：
監(jiān)控處理器（本例中采用Xilinx Artix-7 FPGA實現(xiàn)的MicroBlaze軟核RISC處理器）用于監(jiān)控與用戶接口間的通信并根據(jù)應(yīng)用的要求配置圖像處理流水線。在本例這個簡單的架構(gòu)中，HDMI輸入口接收的數(shù)據(jù)從原始的并行格式的視頻數(shù)據(jù)、Hsync和VSync轉(zhuǎn)換為AXI Streaming（AXIS）格式。我們想要將數(shù)據(jù)轉(zhuǎn)換成AXIS格式是因為Vivado提供多個使用這種數(shù)據(jù)格式的圖像處理IP。如果我們使用Vivado HLS來創(chuàng)建我們自己的圖像處理模塊，那么能夠支持AXIS接口也很重要。
MicroBlaze處理器需要支持如下外圍設(shè)備：
AXI UART – 支持系統(tǒng)的通信和控制
AXI Timer – 使MicroBlaze可以實時運行事件
MicroBlaze調(diào)試模塊 – 支持MicroBlaze的調(diào)試
MicroBlaze本地存儲 – 連接到DLMB和ILMB（數(shù)據(jù)&指令本地存儲總線）
我們將使用存儲接口生成器來創(chuàng)建與板上SDRAM對接的DDR接口。這個接口和SDRAM創(chuàng)建了一個公共的存儲框架，可以訪問圖像處理管道以及使用AXI interconnect訪問監(jiān)控處理器。
創(chuàng)建一個簡單的圖像處理流水線需要使用如下IP：
DVI2RGB – Digilent提供的HDMI輸入IP
RGB2DVI – Digitlent提供的HDMI輸出IP
Video In to AXI4-Stream – 將并行視頻輸入轉(zhuǎn)換為AXI Streaming協(xié)議（Vivado IP）
AXI4-Stream to Video Out – 將AXI-Stream轉(zhuǎn)換為并行視頻輸出（Vivado IP）
Video Timing Controller Input – 檢測輸入視頻流參數(shù)（Vivado IP）
Video Timing Controller Output – 生成輸出視頻流時序參數(shù)（Vivado IP）
Video Direct Memory Access – 支持圖像寫入和從DDR SDRAM讀出
視頻處理鏈的核心是VDMA，我們借助它來將圖像移動到DDR內(nèi)存中。
上圖展示了IP如何將流式數(shù)據(jù)轉(zhuǎn)換為讀和寫管道中內(nèi)存映射的數(shù)據(jù)。兩個VDMA通道都提供了在流式數(shù)據(jù)和內(nèi)存映射數(shù)據(jù)之間轉(zhuǎn)換的能力。寫通道支持流到內(nèi)存映射的轉(zhuǎn)換而讀通道提供內(nèi)存映射到流的轉(zhuǎn)換。
當(dāng)把所有這些集中到Vivado中創(chuàng)建初始的基本系統(tǒng)，我們得到了如下架構(gòu)，這是Nexys Video HDMI示例提供的。
嵌入式視覺解決方案
嵌入式視覺技術(shù)為許多激動人心的新興應(yīng)用進入市場提供了光明的前景。這些新興應(yīng)用包括用于M2M應(yīng)用中的工業(yè)顯示系統(tǒng)、工業(yè)4.0解決方案、高級駕駛輔助系統(tǒng)（ADAS）和車載信息娛樂系統(tǒng)、數(shù)碼單反相機、無人機、機器人、虛擬現(xiàn)實（VR）系統(tǒng)和醫(yī)療設(shè)備。
萊迪思的產(chǎn)品系列能夠?qū)崿F(xiàn)靈活的解決方案以滿足當(dāng)今嵌入式視覺設(shè)計工程師的需求，如不斷變化的接口、低功耗圖像信號處理和硬件加速。
萊迪思攜手合作伙伴助您實現(xiàn)適用于網(wǎng)絡(luò)邊緣嵌入式視覺處理應(yīng)用的靈活、低功耗的解決方案。
嵌入式視覺系統(tǒng)
在當(dāng)今所有行業(yè)中攝像頭應(yīng)用的數(shù)量都在不斷增長，更加智能的應(yīng)用得以實現(xiàn)。像目標識別、深度感知、碰撞規(guī)避和決策制定的概念正在深入我們的家庭生活、城市環(huán)境、工廠和汽車所使用的設(shè)備中。邊緣計算需要各種設(shè)備協(xié)同工作以實現(xiàn)更高的效率。消費電子、工業(yè)和汽車行業(yè)正著眼于FPGA，助力構(gòu)建靈活、智能學(xué)習(xí)的環(huán)境，將理想變?yōu)楝F(xiàn)實。
什么是SLAM技術(shù)？SLAM技術(shù)的工作原理
SLAM技術(shù)是一種計算機程序，用于構(gòu)建座席周圍環(huán)境的虛擬地圖并更新其實時坐標。
在本例這個簡單的架構(gòu)中，HDMI輸入口接收的數(shù)據(jù)從原始的并行格式的視頻數(shù)據(jù)、Hsync和VSync轉(zhuǎn)換為AXI Streaming（AXIS）格式。我們...
在一個小型嵌入式解決方案上為流式傳輸 4x 應(yīng)用制作原型的步驟
? ? 嵌入式視覺組件越來越受歡迎，并被整合到大量的應(yīng)用中。這些應(yīng)用的共同之處，就在于它們都需要在狹小的空間內(nèi)容納更多的功能。當(dāng)這些系統(tǒng)在邊緣做出決策時...
2022-04-29 標簽：ITS嵌入式視覺嵌入式視覺系統(tǒng) 1.0萬 0
如何解決嵌入式視覺系統(tǒng)所面臨的挑戰(zhàn)？
嵌入式視覺系統(tǒng)應(yīng)用到很多領(lǐng)域，比如工業(yè)自動化、無人機、交通監(jiān)控、移動設(shè)備、汽車等，憑借其強悍的處理性能和多樣化的功能取代傳統(tǒng)的人工來提高生產(chǎn)效率。隨著科...
賽靈思INT8優(yōu)化為嵌入式視覺應(yīng)用提供性能和計算方法
要使用可編程邏輯上的 DSP 實現(xiàn)中值濾波器，可以對算法做改動。每次比較運算可以分為減法運算及后續(xù)的符號位檢查。對減法運算，DSP48E2 Slice ...
2019-07-30 標簽：計算機視覺嵌入式視覺深度學(xué)習(xí) 3839 0
如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)加速視覺系統(tǒng)的優(yōu)化
當(dāng)人們討論深度神經(jīng)網(wǎng)絡(luò)(DNN)、深度學(xué)習(xí)和嵌入式視覺時，通常會先討論如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)。不久之前，我們還只能支持線性網(wǎng)絡(luò)，在輸入和輸出級之間的層數(shù)...
2021-02-03 標簽：神經(jīng)網(wǎng)絡(luò)圖像傳感器嵌入式視覺 3747 0
“看”的能力一直被認為是生物體獨有的特質(zhì)，它讓我們能夠識別形狀、顏色、紋理和深度，進而與外部世界互動。 而現(xiàn)在，這個能力正被賦予機器，這就是機器視覺更專...
擴展了對汽車，工業(yè)和醫(yī)療嵌入式視覺應(yīng)用的支持。萊迪思在mVision堆棧中添加了新的開發(fā)板，以支持用于工業(yè)，醫(yī)療和汽車應(yīng)用的流行圖像傳感器。支持的圖像傳...
2021-03-03 標簽：fpga神經(jīng)網(wǎng)絡(luò)圖像傳感器 2864 0
“嵌入式視覺”這一名詞是指在嵌入式系統(tǒng)中使用計算機視覺技術(shù)。換句話說，“嵌入式視覺”是指從視覺輸入中提取出其背后含義的嵌入式系統(tǒng)。##很明顯，圖形傳感器...
2014-08-20 標簽：處理器傳感器技術(shù)嵌入式視覺 2841 1
賽靈思INT8優(yōu)化為嵌入式視覺應(yīng)用性能和計算方法
賽靈思的 DSP 架構(gòu)和庫針對 INT8 運算進行了精心優(yōu)化。本白皮書介紹如何使用賽靈思 16nm 和 20nm All Programmable 器件...
類別：工控技術(shù) 2013-04-07 標簽：控制系統(tǒng)Altera機器視覺
ADI總監(jiān)談嵌入式系統(tǒng)的發(fā)展立即下載
類別：嵌入式開發(fā) 2017-10-19 標簽：adsp嵌入式視覺嵌入式智能系統(tǒng)
類別：嵌入式技術(shù)論文 2010-02-23 標簽：在線檢測嵌入式視覺
類別：嵌入式開發(fā) 2021-11-04 標簽：嵌入式系統(tǒng)嵌入式設(shè)計機器視覺
FPGA新產(chǎn)品：帶RISC-V硬核的FPGA系統(tǒng)級芯片來臨
不久前，Microchip發(fā)布新聞稿介紹了其新的中等帶寬現(xiàn)場可編程門陣列（FPGA）和FPGA系統(tǒng)級芯片（SoC）器件。據(jù)其新聞稿介紹，新的FPGA和S...
嵌入式視覺和網(wǎng)絡(luò)邊緣智能應(yīng)用市場前景愈加明朗
十年前，嵌入式視覺技術(shù)主要用于比較少見、高度專業(yè)化的應(yīng)用。今天，設(shè)計工程師們在越來越多新興的工業(yè)、汽車和消費電子應(yīng)用中為視覺應(yīng)用找到了用武之地。制造商一...
Spartan-7到底有哪些特色、優(yōu)勢，相比前一代有什么不同點
近日，賽靈思公司再度取得一項里程碑式成就——Spartan 系列器件銷量突破 10 億！這是賽靈思其他產(chǎn)品組合都尚未企及的重要里程碑。作為賽靈思成本優(yōu)化...
在這篇文章中，前賽靈思機器視覺市場戰(zhàn)略總監(jiān)Aaron Behman 針對嵌入式視覺方面的問題進行了介紹，并解讀了賽靈思 All Programmable...
2017-11-15 標簽：嵌入式視覺 5803 0
感知系統(tǒng)包括視覺系統(tǒng)在內(nèi)，未來隨著從ADAS到自動駕駛的逐步過渡，對感知系統(tǒng)會有一個巨大的變化。一方面，之前ADAS更多關(guān)注點在解決誤報率方面，而未來自...
Microchip發(fā)布新款用于邊緣嵌入式視覺設(shè)計的新一代開發(fā)工具
平臺擴展了客戶在從神經(jīng)網(wǎng)絡(luò)診斷到工業(yè)物聯(lián)網(wǎng) （IIoT） 和工廠自動化等應(yīng)用中設(shè)計安全可靠系統(tǒng)的選擇。
德州儀器（TI）在智能駕駛市場再發(fā)動新一波攻勢，率先推出可與數(shù)字信號處理器（DSP）搭配運作的影像加速器，并將其嵌入于針對汽車駕駛輔助系統(tǒng)（ADAS）打...
自從2011年嵌入式視覺聯(lián)盟（EVA）成立以來，嵌入式視覺在廣泛的市場范圍內(nèi)，在投資、創(chuàng)新和實用視覺技術(shù)的使用方面，都取得了前所未有的增長。為了幫助人們...
2019-07-09 標簽：云計算嵌入式視覺深度學(xué)習(xí) 4641 0
用于AI加速嵌入式視覺應(yīng)用的康佳特 i.MX 8M Plus入門套件
Basler pylon 相機軟件套件提供統(tǒng)一的軟件開發(fā)工具包（SDK），包括用于MIPI的BCON接口 、USB3和GigE接口的視覺相機，并允許通過...
機器學(xué)習(xí)正處于經(jīng)典過熱期的頂端
另一位發(fā)言者是Dean Kamen，他是DEKA研發(fā)中心的創(chuàng)始人，他指出人們對物聯(lián)網(wǎng)隱私問題以及智能設(shè)備在家庭中數(shù)量的激增產(chǎn)生了很多嚴重的擔(dān)憂，人工智能...
2018-07-10 標簽：FPGA機器學(xué)習(xí)嵌入式視覺 4344 0
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟技術(shù)開發(fā)區(qū)航空路6號手機智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
