智能交互手部康復(fù)機器人

一、產(chǎn)品概述

智能交互手部康復(fù)機器人是以手部康復(fù)外骨骼為被控對象，配備簡潔的人機交互界面，采用模塊化設(shè)計理念，具有理實一體、操作簡單、易于擴展等特點，極大的提高師生的參與程度，為腦卒中患者提供多用途、層次豐富、安全易用、易于擴展的肌電交互系統(tǒng)。該系統(tǒng)融合了 UI交互界面、嵌入式控制器、肌電手環(huán)、手部康復(fù)機器人系統(tǒng)，提供基于 python 語言的統(tǒng)一框架，方便操作者的使用和二次開發(fā)，為用戶提供完整的手部康復(fù)機器人教學(xué)科研環(huán)境。

二、產(chǎn)品特色

?

可穿戴：傳統(tǒng)的人機交互方式如鍵盤、鼠標(biāo)等不方便攜帶，不適合便攜式人機交互。而基于表面肌電的人機交互方式通過采集人體皮膚表面的微弱的生理電信號，實現(xiàn)對意圖指令的解碼。肌電手環(huán)具有便攜性，可以穿戴在手臂上，便于實際場景中實時人機交互。

?

智能識別：表面肌電信號是一種時變的、易受干擾的非平穩(wěn)信號，如何準確的識別出人體運行意圖至關(guān)重要。通過對原始信號進行濾波，提取時頻域統(tǒng)計學(xué)特征，使用人工智能算法來識別出人體的意圖，進而控制手部機器人執(zhí)行相應(yīng)的動作。

?

一體化框架：該系統(tǒng)融合了 UI 交互界面、嵌入式控制器、肌電手環(huán)、手部康復(fù)機器人系統(tǒng)，提供基于 python 語言的統(tǒng)一的框架，方便操作者的使用和二次開發(fā)，整體流程框架圖如下圖所示。整體框架圖

三、系統(tǒng)性能參數(shù)

智能交互手部康復(fù)機器人基于嵌入式處理器樹莓派，實現(xiàn) UI 交互模塊、信號處理與識別模

塊、系統(tǒng)控制模塊的集成。

1、交互界面

（1）主界面

智能交互手部康復(fù)機器人可以實現(xiàn)被動康復(fù)訓(xùn)練和主動康復(fù)訓(xùn)練兩部分功能，交互主界面

如下圖所示，可以通過點擊對應(yīng)圖片選擇相應(yīng)的功能。

交互主界

（2）被動訓(xùn)練界面

被動訓(xùn)練可以自主設(shè)置訓(xùn)練次數(shù)，動作時間和休息時間，同時也設(shè)置了五指分別運動以及

張手、握拳、捏手指和伸手指四個常用動作，通過調(diào)節(jié)伸長量來控制手部張開和閉合的幅度。

被動康復(fù)訓(xùn)練界面如圖所示。

被動康復(fù)界面

（3）主動訓(xùn)練界面

實現(xiàn)主動訓(xùn)練首先要采集患者的肌電數(shù)據(jù)，通過在動作列表中選擇訓(xùn)練的動作進行數(shù)據(jù)采

集，將采集完兩輪的數(shù)據(jù)進行模型訓(xùn)練，訓(xùn)練好后即可實現(xiàn)主動訓(xùn)練。主動康復(fù)訓(xùn)練界面如圖

所示。

主動康復(fù)訓(xùn)練界面

按下開始采集按鈕，會顯示當(dāng)前需要做的動作。按下模型訓(xùn)練按鈕，會自動對采集的 sEMG

信號進行處理，建立分類識別模型。模型建立后，按下開始訓(xùn)練按鈕，做出相應(yīng)動作，會控制康復(fù)手同時做出相同動作，實現(xiàn)主動康復(fù)功能。如在訓(xùn)練時感受到疲憊，可按下停止訓(xùn)練按鈕

暫停訓(xùn)練，在適當(dāng)休息后，也可以再次點擊開始訓(xùn)練按鈕重新訓(xùn)練，最后點擊返回按鈕，會退

出主動康復(fù)訓(xùn)練界面，返回主界面。

（4）動作選擇界面

動作選擇界面包含多個訓(xùn)練動作，包含握拳，張手，OK，數(shù)字 1 到 10，捏指等。可以選

擇自己想做的動作進行訓(xùn)練，同時也可以隨時增加或刪除新老動作。動作選擇界面如圖所示。

動作選擇界面

2、信號處理與模式識別

采用統(tǒng)計學(xué)特征和機器學(xué)習(xí)的方法，從非平穩(wěn)、高噪聲的肌電信號中解碼出人的動作意圖。

首先佩戴肌電手環(huán)，然后根據(jù)上位機界面來做出相應(yīng)的動作，同時采集肌電數(shù)據(jù)，之后對數(shù)據(jù)

進行降噪、特征提取和識別，解碼出人體的運動意圖。算法處理流程如下圖所示：

信號處理與模式識別

3、相關(guān)硬件參數(shù)

手部康復(fù)機器人控制系統(tǒng)：1）整體：包括藍牙模塊、運動控制模塊，實現(xiàn)多種手勢的實時手部機器人控制?？梢钥焖?/span>

搭建手部機器人研究平臺，支持控制算法和特征工程處理的快速開發(fā)

2）工作技術(shù)參數(shù)：

開發(fā)方式：Python

工作范圍：2m*2m

工作環(huán)境溫度：室溫溫度

驅(qū)動方式：直流電機驅(qū)動

工作采樣頻率：50HZ

控制模式：位置，速度

實驗工程及 demo：提供實驗工程及 demo

微型直線伺服驅(qū)動器：

1）小體積、高功率密度、高重復(fù)定位精度；

2）內(nèi)部集成了微型電機、減速器、絲桿機構(gòu)、傳感器以及驅(qū)動控制系統(tǒng)，集成度

高；

3）接口豐富：

電氣接口：具有 LVTTL3.3V 串口（D 型）和 PWM（

P 型）兩種接口。D 型接口的驅(qū)動器

可以配置地址編號（

ID），多個不同 ID 的驅(qū)動器可以通過串口總線控制。P 型接口的驅(qū)動器兼

容標(biāo)準舵機接口，支持 50HZ 和 333HZ 兩種頻率的 PWM 控制信號

機械接口：具有豐富的接口方式可選，方便用戶安裝使用

4）寬電壓：DC6V～9V 寬電壓范圍供電，建議供電 8V，斷電后不會丟失位置信息

5）具備過熱、過流保護功能

樹莓派 3B+：

1）64 位的 1.4GHz 四核 ARM Cortex-A53

2）1GB 內(nèi)存和千兆以太網(wǎng) (最大吞吐量 300Mbps)

3）IEEE 802.11.b/g/n/ac 雙頻 2.4GHz/5GHz 無線網(wǎng)卡

4）低功耗藍牙 4.2 (BLE)

5）HDMI 接口、PoE 接口和四個 USB 2.0 接口

6）MicroSD 卡插槽7）3.5 mm 音頻輸出接口

8）40PIN GPIO 接口

Myo 肌電手環(huán)：

1）手臂尺寸可在 7.5-13 英寸(19-34 厘米)前臂周長之間展開

2）8 個醫(yī)用級不銹鋼肌電圖傳感器

3）重量: 93g

4）1 個包含三軸陀螺儀、三軸加速度計、三軸磁強計的九軸 IMU

5）短、中、長振動的觸覺反饋

6）ARM Cortex M4 處理器

7）雙指示燈 LED 使用藍牙智能

8）micro-usb 充電，內(nèi)置可充電鋰離子電池一次性使用一整天

9）1 個肌臂帶 1 根標(biāo)準 micro USB 電纜

10）1 個藍牙適配器，用于 Mac 和 Windows PC 連接

11）10 個 MYO 尺寸夾

12）1 個開放的、免費的、有原始數(shù)據(jù)可用的 SDK

康復(fù)手：

剛性手部外骨骼采用 3d 打印材質(zhì)，配合金屬零件共同組裝而成；并配用樹脂材料打印的控

制盒，盒內(nèi)集成了樹莓派和電源線、HDMI 走線等，可以實現(xiàn)樹莓派的開關(guān)及急停功能

四、配套實驗內(nèi)容

模式識別基礎(chǔ)實驗：

1

模式識別導(dǎo)論

理解模式識別的定義，了解課程學(xué)習(xí)目標(biāo)、學(xué)習(xí)內(nèi)容和學(xué)習(xí)方法，

激發(fā)學(xué)習(xí)動力和學(xué)習(xí)興趣。

2

模式識別基礎(chǔ)

理解模式識別的基礎(chǔ)概念：包括特征與特征空間、有監(jiān)督學(xué)習(xí)與

無監(jiān)督學(xué)習(xí)、緊致性、維數(shù)災(zāi)難、泛化能力與過擬合。

3

模式識別系統(tǒng)

解模式識別系統(tǒng)的一般結(jié)構(gòu)，并理解各個環(huán)節(jié)的主要任務(wù)4

線性分類器

理解線性分類器的基本原理：包括線性判別和廣義線性判別，多

分類線性判別函數(shù)和線性判別函數(shù)的幾何意義

5

支持向量機

理解支持向量機的原理，并能編程實現(xiàn)支持向量機去解決簡單的

模式識別問題。

6

感知器算法

理解感知器算法的原理，并能編程實現(xiàn)感知器算法去求解線性分

類器。

7

貝葉斯分類器

理解貝葉斯分類器的原理，并能夠編程實現(xiàn)貝葉斯分類器。

8

k 近鄰算法

理解 k 近鄰算法的原理，并能夠編程實現(xiàn) KNN 算法。

9

特征降維

理解特征降維的基本概念，理解特征降維的主要方法，并能夠在

解決模式識別問題的過程中加以應(yīng)用

10

聚類算法

理解數(shù)據(jù)聚類的基本概念、特點和聚類算法的一般流程，理解常

用數(shù)據(jù)聚類算法的原理，包括試探法聚類、層次法聚類和動態(tài)聚

類。

11

組合分類器

理解組合分類器的原理，理解 Adaboost 算法和隨機森林算法的

基本原理，并能夠編程實現(xiàn)這兩種算法來解決模式識別問題。

12

神經(jīng)網(wǎng)絡(luò)分類器

理解人工神經(jīng)元網(wǎng)絡(luò)的基本概念和用于模式識別的基本原理，理

解 BP 算法的原理，并能夠編程實現(xiàn) BP 算法

模式識別高級實驗：

1

sEMG 特征提取

學(xué)習(xí)提取原始數(shù)據(jù)的時域、頻域和時頻域等常用特征，將原始數(shù)

據(jù)提煉為特征供分類模型使用。

2

sEMG 特征降維

學(xué)習(xí)主元分析（

PCA）、線性判別分析（

LDA）、獨立元分析（

ICA）

等常用降維算法，采用降維算法降低 sEMG 特征。

3

神經(jīng)網(wǎng)絡(luò)算法

理解神經(jīng)網(wǎng)絡(luò)算法的原理，進而對深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)

有所學(xué)習(xí)，并能通過編程解決動作識別和康復(fù)評估的問題。

4

支持向量機

理解支持向量機的原理，用于解決動作識別的問題。

5

組合分類器

理解 GBDT 算法和隨機森林算法的基本原理，并能通過編程實現(xiàn)

這兩種算法來解決模式識別問題sEMG 信號處理實驗：

序號

實驗名稱

課程內(nèi)容

1

sEMG 概念

了解 sEMG 信號的概念，了解課程學(xué)習(xí)目標(biāo)、學(xué)習(xí)內(nèi)容

2

sEMG 采集

學(xué)習(xí) sEMG 信號采集方法。

3

sEMG 特征提取

學(xué)習(xí) sEMG 特征提取方法，了解常用的 sEMG 時域特征、頻域、

時頻域特征。

4

sEMG 特征選擇

學(xué)習(xí)過濾式、包裹式、嵌入式等特征選擇方法，降低 sEMG 特征。

5

建立動作分類模

型

學(xué)習(xí)隨機森林、神經(jīng)網(wǎng)絡(luò)等常用分類算法，通過 sEMG 進行動作

分類。

6

動作在線識別

學(xué)習(xí)使用建立的分類模型進行在線識別。

7

建立康復(fù)評估模

型

學(xué)習(xí)深度、卷積神經(jīng)網(wǎng)絡(luò)等常用分類算法，建立合適的康復(fù)評估

模型。

8

評估患者康復(fù)等

級

通過評估模型對患者進行康復(fù)等級評估，適時調(diào)整患者的康復(fù)方

案。

五、平臺配置清單

產(chǎn)品名稱

產(chǎn)品型號

平臺配置

智能交互手部康復(fù)機器人

Robot-HRb

智能交互系統(tǒng)

定制

剛性康復(fù)手

定制

顯示屏

維辰思系列

樹莓派

3b+

電機

因時 LA-16 型

肌電手環(huán)

8 通道 MYO