描述

項目概念

該項目的目標(biāo)是監(jiān)控獨(dú)居的老年人，有攝像頭（未來計劃放置在許多房間）將視頻輸入 Xilinx ZCU104 以使用 Vitis-AI 和 Openpose 處理數(shù)據(jù)以檢測跌倒檢測。

我使用以下標(biāo)準(zhǔn)開發(fā)了簡單的算法來檢測跌倒。

• 頭身角度變化超過45度
• 變化角度超過特定值的速度（此時需要反復(fù)試驗）

有兩種方法可以通知跌倒檢測。

1) 通過 IFTTT 向預(yù)定義的號碼發(fā)送短信。

2) 打開警報器。這個警報器是一個簡單的網(wǎng)絡(luò)警報器，它使用 NodeMCU 并通過發(fā)送 http://<警報器的 IP>/SirenOn 激活這將允許我們將警報器放在任何有 Wifi 信號的地方。我不會詳細(xì)介紹這個項目。

在 ZCU104 板上，我們運(yùn)行了一個簡單的 Web 服務(wù)器，它將保存圖片并從秋季開始錄制視頻。

項目實施

項目組件

?

我花費(fèi)了 90% 的項目時間來創(chuàng)建具有以下組件的 SD 圖像。

• 視頻控制單元
• DPU
• 帶有 Openpose 模型的 Vitis-AI
• 用于向 IFTTT 和 Network Siren 發(fā)送請求的 Curl 命令。

但是我未能創(chuàng)建完整的圖像，在開發(fā)的每個階段都有很多錯誤。我們可以測試 Vitis-AI 的最佳映像來自 Vitis-AI 的現(xiàn)成構(gòu)建映像沒有 VCU 但都預(yù)裝了 Vitis-AI 和模型。有關(guān)更多詳細(xì)信息，請訪問 https://github.com/Xilinx/Vitis-AI如何創(chuàng)建映像并安裝它。

請注意，此圖像僅支持 Display Port Adapter !!。我花了將近兩周的時間來弄清楚如何在帶有 HDMI 端口的普通屏幕上顯示。（圖中我借了朋友的有Display Port的顯示器試了半天）

- Ubuntu 或 Linux 機(jī)器運(yùn)行帶有 -Y 選項的命令 ssh 到 ZCU104 板。-Y 表示啟用信任者 X11 轉(zhuǎn)發(fā)。如果不指定 -Y 選項。您可能會收到錯誤“權(quán)限被拒絕。無法打開顯示”例如

$ssh -Y root@

登錄后，使用命令 echo $DISPLAY 獲取顯示環(huán)境。您可以將此值用于串行終端控制臺以在您的 Linux 機(jī)器上顯示 Windows（DISPLAY 環(huán)境將類似于 localhost:10.0）

- Windows 機(jī)器。您需要安裝 X 服務(wù)器程序。我使用 VcXsrv 程序。當(dāng)使用 Xlaunch 啟動 VcXsrv 時，不要忘記禁用訪問控制（在最后一個屏幕上）以接受來自所有客戶端的連接。在ZCU104板子上，設(shè)置環(huán)境DISPLAY=:0.0

使用來自 USB 攝像頭啟動程序的輸入

$./FallGuard openpose_pruned_0_3 0 -t 8

使用來自視頻文件的輸入（目前僅支持.webm 格式）

$./FallGuard openpose_pruned_0_3 -t 8

要在主機(jī)上編譯程序，我們需要為 Arm 64 位設(shè)置環(huán)境。通過使用命令 $source /environment-setup-aarch64-xilinx-linux 例如我的 SDK 在 /opt/petalinux/2020.1/

build.sh是編譯程序的腳本，編譯后使用 scp 將文件復(fù)制到目標(biāo) ZCU104 板。前任。scp FallGuard root@:~/ ~ 表示復(fù)制到主目錄。

有兩種方法可以通知跌倒檢測。

1) 使用 IFTTT webhook 通過 webhook 使用 curl 命令通過 post FallDetect 事件發(fā)送 SMS。有關(guān)詳細(xì)信息，請參閱 process_result.hpp 中的第 67 行。

2) 將 SirenOn 值發(fā)布到網(wǎng)絡(luò)警報地址。（第 69 行）為了便于實施，此時警報地址是固定的（第 17 行）。這個值是通過設(shè)置路由器來固定網(wǎng)絡(luò)警報器的mac地址的ip地址來固定的。

使用 Arduino 編譯，不要忘記在程序內(nèi)部定義 SSID 和 Password。我們僅使用 5 V 供電，即使警報器可支持高達(dá) 12 V。

實現(xiàn)的最后一部分是 Web 服務(wù)器。我們使用來自busybox的簡單Web服務(wù)器（httpd）來實現(xiàn)簡單的Web服務(wù)器，當(dāng)?shù)箼z測發(fā)生時顯示圖片和視頻。這將通過在項目目錄中調(diào)用腳本startweb.sh開始，或者您可以將此腳本放在 .bashrc 中以自動啟動。

圖片為jpg格式，視頻為avi格式。這些操作由 OpenCV 庫完成。請注意，編碼器（本項目中的 MJPG）和容器（.avi）以及圖像的大小（2304、1536）必須匹配。否則，視頻將無法閱讀。我仍然對這些組合感到困惑。所以我無法解釋更多。我嘗試了其他組合 Ex。encode = Mpeg 和 container = mp4 但它不支持。（這個還有待開發(fā)的領(lǐng)域）

項目成果

我們已經(jīng)在視頻文件和 USB 攝像頭上測試了跌倒檢測。當(dāng)人直接面對相機(jī)時，兩者都可以正常工作。但如果人站在旁邊或某個角度，Openpose 無法正確確定手勢。這需要通過安裝不同角度的攝像頭或使用其他算法來幫助對側(cè)面手勢進(jìn)行分類來改善。通知有時也需要，這是由于網(wǎng)絡(luò)配置和網(wǎng)絡(luò)速度造成的。（有時快有時慢）

下落速度需要根據(jù)不同場景進(jìn)行調(diào)整和廣泛測試。例如，如果您打算睡覺（緩慢移動），系統(tǒng)不應(yīng)故障警報并認(rèn)為它正在下降。不同的跌倒檢測算法將有助于檢測的準(zhǔn)確性。

從視頻中，您會看到屏幕上的動態(tài)和圖片之間存在一些滯后，并且警報激活。這應(yīng)該通過 VCU 加以改進(jìn)。

包起來

這個項目還有更大的發(fā)展空間。應(yīng)該測試不同的場景并提高Camera處理的速度。（如果我們可以使用 VCU，這些問題就會得到解決） 系統(tǒng)魯棒性將非常重要。當(dāng)有人摔倒并且系統(tǒng)停止工作時，我們不希望系統(tǒng)掛起。這將使生命處于危險之中。