描述

作為 Edge Impulse 專家網(wǎng)絡(luò)的一部分，Seeed Studio 慷慨地提供了一些reComputer Jetson-10-1-H0來開發(fā)示例項目并按其步調(diào)運行硬件。

Seeed reComputer 使用 Jetson Nano 4GB 和 16GB eMMC（稍后會詳細介紹），外殼非常光滑。它已經(jīng)加載了 Jetpack 4.6 和 Ubuntu 18.04 LTS，基本上可以開箱即用。

對于我的項目，我自愿制作靜電放電 (ESD) 風(fēng)險標(biāo)識符，以防止在處理電子產(chǎn)品時發(fā)生潛在的 ESD 故障。ESD 會導(dǎo)致難以識別的電子設(shè)備損壞，并可能導(dǎo)致未來幾個月出現(xiàn)故障，從而導(dǎo)致組織需要昂貴的保修維修或召回費用。

我的項目的前提是在電子裝配工的工作臺上安裝一個攝像頭。攝像頭將連接到 Seeed Studio reComputer（通過 CSI 端口或通過 RTSP 流），該計算機將運行Edge Impulse 的 FOMO對象檢測架構(gòu)，以識別操作員是否佩戴腕帶，并識別任何異物（即戒指或手表）操作員在處理敏感電子設(shè)備時不應(yīng)佩戴。

需要標(biāo)記訓(xùn)練數(shù)據(jù)（對象檢測見“Labeling queue”標(biāo)簽

?

完成標(biāo)記后，我得到了每個類別的大約 100 個樣本。對于更強大的模型，我當(dāng)然會推薦更多，但對于概念證明，這個數(shù)量非常有效。注意：我確實看到了區(qū)分手表和腕帶的一些挑戰(zhàn)，因為它們看起來非常相似。更多的數(shù)據(jù)和多樣化的樣本將有助于消除這一挑戰(zhàn)。有時我會在測試期間看到腕帶被歸類為手表。

戒指明顯不同，但手表和腕帶彼此靠得更近。

?

由于我的沖動，我選擇了 160x160 的圖像并使用了 Edge Impulse 的 FOMO。這對我的左手和右手有很好的視野。然后我可以在分類器中運行這兩個圖像。如果我只對一張圖像進行分類，由于 FOMO 需要等維圖像，圖像會被擠壓并且無法看到雙手。

調(diào)試圖像顯示如何將一個幀拆分為兩個圖像以進行推理。

?

我第一次嘗試使用 FOMO 創(chuàng)建模型時，結(jié)果很糟糕。原來我沒有足夠的數(shù)據(jù)。我怎么強調(diào)都不為過，更有效的數(shù)據(jù)對模型的準(zhǔn)確性很重要。一旦我添加了更多數(shù)據(jù)，模型的 F1 分數(shù)就會提高。

每個類別只有 100 個樣本，該模型實際上表現(xiàn)相當(dāng)不錯

?

對結(jié)果感到滿意后，我將模型部署為 Linux 二進制文件（.eim 文件）。我的 Edge Impulse 項目的公共版本可以在這里找到。

將模型保存到 Jetson reComputer 后，我便開始編碼。這兩種選擇對我來說都很有效。我在讓相機驅(qū)動程序工作時遇到了一些小問題（nanocamera 最終為我工作）但是一旦我完成了這些，它真的很有趣而且簡單。

這個項目很有趣。我已經(jīng)使用 Jetson Nano 一年多了，如果你能解決驅(qū)動程序和依賴性問題（它們似乎在我使用 Nano 的每個項目中都會出現(xiàn)），它真的很強大而且使用起來很有趣。我什至還沒有使用過 DeepStream 或任何 NVIDIA 工具，所以我期待有一天能嘗試一下。

內(nèi)存限制很不幸，占用了我一些時間，我希望將來能解決這個問題。我什至不得不在 Nano 上進行開發(fā)，因為我沒有足夠的空間來安裝 VS Code（我選擇的 IDE）。無論如何都不是一個阻礙，這仍然是一個非常有能力的硬件。

我認為這個項目將來可以進一步擴展。如果存在 ESD 風(fēng)險，您可以添加一個 Twilio 界面來向主管發(fā)送短信。可以對不同類型的物體進行分類（也許確保穿著 ESD 工作服？）而我更興奮的是在Edge Impulse Imagine 2022上宣布的FOMO-AD （AD 代表異常檢測）。它要到 2023 年才能準(zhǔn)備就緒，但我認為有很多機會使用該技術(shù)來識別圖像中的正確和錯誤。我很高興能測試它的功能！

?