描述

當我還是個孩子的時候，我對毒藤的反應非常糟糕：疼痛、發(fā)癢的皮疹需要去看醫(yī)生以獲得強效藥物。毒藤很難識別，并且在難以接收手機信號的地方（森林、遠足小徑、偏遠地區(qū)）被發(fā)現(xiàn)。擁有一個可以識別低功耗且不需要互聯(lián)網(wǎng)連接的毒藤（或其他壞東西）的邊緣設備不是很酷嗎？

在過去的一年里，我開始嘗試使用 TinyML，最近從 Arducam 購買了 Pico4ML 。我很感興趣，因為它配備了 Raspberry Pi RP2040 MCU、單色攝像頭、小型 LCD 顯示器、麥克風和 IMU，所有這些都在一個小尺寸中。我慢慢開始玩這些演示以了解它可以做什么。我還開始修補 Edge Impulse，為各種 MCU 創(chuàng)建圖像、音頻和運動分類模型。

當“ Eyes on Edge: tinyML Vision Challenge ”宣布時，我決定嘗試測試我的新技能！

我從 Edge Impulse 開始并拍攝照片來填充我的圖像分類模型。我開發(fā)了 3 個類別：毒藤、非毒藤植物和未知植物（不是植物的隨機物品的照片）。我遵循了 Edge Impulse關于如何開發(fā)模型的指導。我使用我女兒的小型數(shù)碼相機拍照并將圖像批量上傳到我的 Edge Impulse 項目。

?

將照片上傳到 Edge Impulse 項目

?

之后我設計了沖動。為了與 Pico4ML 的約束保持一致，我選擇了 96x96 單色圖像并使用 Edge Impulse 建議的默認圖像和遷移學習塊。

?

?

我選擇 MobilenetV1 0.2 作為模型，同樣是因為 Pico4ML 的內(nèi)存限制。雖然不理想，也不是最準確的，但對于應用程序和硬件來說已經(jīng)足夠了。二十個神經(jīng)元似乎產(chǎn)生了最好的結果。我還為更多樣化的數(shù)據(jù)集選擇了數(shù)據(jù)增強。

?

?

?

選擇這些參數(shù)后，我訓練了模型。結果如下：

?

?

對于幾百張圖片來說還不錯！這當然不是最好的模型，對于看起來像毒藤但不是的植物有些混淆。我認為通過毒藤和類似植物（即荊棘葉和黑莓葉）的附加質量圖像可以進一步改進模型。

構建并測試模型后，我將其導出到 C++ 庫以集成到我的項目中。現(xiàn)在，我沒有在 1 次迭代中完成這項工作。在要使用的照片數(shù)量/質量和模型類型方面進行了大量試驗（我使用的第一個模型對于 Pico4ML 來說太大了，而且內(nèi)存不足）。我沒有意識到我必須經(jīng)歷多少次迭代！

?

?

我在 Raspberry Pi 4B 上進行了開發(fā)，因為那似乎是最簡單的界面。我處理了 Pico4ML github上的代碼/指令。我使用 person_detection 演示作為起點，這樣我就可以了解圖像是如何被接收的，以及它們是如何傳遞給 ML 算法的。這是我花費*大量*時間的地方，我感謝 Edge Impulse 團隊一直支持我并在他們的論壇上為我回答問題。

該演示使用 tensorflow lite 微型模型，因此在設置和推理方面，界面與 Edge Impulse 模型有很大不同。對于那些合法的編碼員來說，這可能不是什么大問題，但對于那些十多年沒有編碼的人來說，讓 Edge Impulse 模型與硬件正常工作是一個漫長的過程（請參閱上面的注釋我的原始模型對于硬件來說太大并且導致內(nèi)存問題）。

一旦我確信我讓它工作了，我的現(xiàn)場結果并不像我希望的那樣令人印象深刻，所以我繼續(xù)改進模型，直到我覺得它“足夠好”。下圖顯示了從相機接收到的圖像，以及該圖像是毒藤的概率。如果概率大于 60%，數(shù)字變?yōu)榧t色：小心！

?

成功！（大多數(shù)時候?。?/font>

?

?

這是一個有趣的練習，我真的覺得它處于 TinyML 的流血“邊緣”。Pico4ML 是低功耗的，所以我可以用一個簡單的 5V 手機電池充電器給它斷電。我的 USB 數(shù)據(jù)線有一個開/關開關，因此只需點擊一下，對圖像進行分類，然后點擊關閉。對于電力和互聯(lián)網(wǎng)不可用的偏遠地區(qū)非常有效。

?

簡單設置：電池、USB 數(shù)據(jù)線、Pico4ML

該項目的未來擴展可能是對您在遠足露營時想在偏遠地區(qū)了解的其他“壞”東西進行分類：“這種漿果有毒嗎？這種蘑菇怎么樣？” 隨著 MCU 變得更強大，可以使用具有更好輸入的更好模型（例如，使用彩色圖像而不是單色圖像）。其他改進可能是多個類（而不是我這里的二進制分類），最終是對象檢測！

這是我提交給 hackster.io 的第一個項目，希望你喜歡它！