方案介紹

使用 Raspberry Pi Pico、數(shù)字麥克風(fēng)和 LCD 顯示器創(chuàng)建實(shí)時(shí)音頻頻譜圖可視化器。

本項(xiàng)目將介紹如何使用帶有外部數(shù)字麥克風(fēng)和 TFT LCD 顯示屏的Raspberry Pi Pico板創(chuàng)建實(shí)時(shí)音頻頻譜圖可視化器。它將讓您看到周?chē)纛l環(huán)境的實(shí)時(shí)視覺(jué)表現(xiàn)。

什么是音頻頻譜圖？
音頻頻譜圖用于將隨時(shí)間的幅度表示的音頻信號(hào)可視化為顯示信號(hào)中包含的頻率如何隨時(shí)間變化的格式。

在下圖中，左側(cè)顯示原始音頻信號(hào)，右側(cè)顯示音頻信號(hào)的音頻頻譜圖。

您可以通過(guò)頻譜圖中的顏色強(qiáng)度看到音頻信號(hào)的幅度與該信號(hào)中相關(guān)頻率之間的直接相關(guān)性。

頻譜圖還使用基于機(jī)器學(xué)習(xí) (ML) 的音頻系統(tǒng)，將音頻信號(hào)轉(zhuǎn)換為頻譜圖，以便計(jì)算機(jī)視覺(jué)技術(shù)可用于對(duì)音頻信號(hào)的二維“圖像表示”進(jìn)行分類(lèi)?，F(xiàn)實(shí)世界的例子包括音頻或語(yǔ)音識(shí)別，以及關(guān)鍵字識(shí)別。

渲染流水線
要?jiǎng)?chuàng)建頻譜圖并將其實(shí)時(shí)顯示在 LCD 顯示屏上，需要執(zhí)行以下步驟：

1. 從數(shù)字麥克風(fēng)中收集 N 個(gè)音頻樣本。

2. 對(duì)收集的音頻樣本應(yīng)用漢寧窗。

3. 使用上一步的輸入運(yùn)行真正的快速傅立葉變換 (RFFT)。

4. 計(jì)算 RFFT 的幅度。

5. 將每個(gè) RFFT 幅度映射到一個(gè)顏色值以顯示在 LCD 顯示屏上。

6. 在 LCD 上顯示新行。

7. 滾動(dòng)到新行并重復(fù)。

如果我們選擇 256 的 RFFT 大小，我們將有 128 個(gè)可用幅度輸出顯示在屏幕上，因?yàn)檫@小于顯示器每行的 240 個(gè)像素，我們可以每行顯示兩次以最大化視覺(jué)空間顯示器。

為了獲得更快的視覺(jué)響應(yīng)時(shí)間，我們可以一次從麥克風(fēng)中收集 64 個(gè)新的音頻樣本（而不是等待 256 個(gè)新的樣本），并將它們與之前每個(gè)周期的最新 192 (= 256 - 64) 個(gè)樣本結(jié)合起來(lái)。采樣率為 16 kHz，我們將有 64 / 16, 000 秒來(lái)執(zhí)行所有計(jì)算并更新顯示。這導(dǎo)致每次迭代 4 毫秒。

我們將使用Pico 麥克風(fēng)庫(kù)從數(shù)字麥克風(fēng)中捕獲數(shù)據(jù)。Arm 的 CMSIS-DSP 庫(kù)將用于實(shí)時(shí)處理音頻數(shù)據(jù)。CMSIS-DSP 針對(duì)Arm Cortex-M 處理器進(jìn)行了優(yōu)化，包括Arm Cortex-M0+ ，Raspberry Pi Pico 的 RP2040 微控制器 (MCU) 就是基于該處理器。在ST7789庫(kù)微微將被用于驅(qū)動(dòng)TFT ST7789顯示器的輸出。

硬件設(shè)置
將公頭焊接到您的 Raspberry Pi Pico 板上、Adafruit PDM MEMS 麥克風(fēng)分線板和2" 320x240 彩色 IPS TFT 顯示器和 microSD 卡分線板，以便它們可以插入面包板。請(qǐng)參閱 MagPi 的“如何焊接 GPIO引腳接頭到 Raspberry Pi Pico”指南，了解有關(guān)將引腳接頭焊接到 Raspberry Pi Pico 板的更多詳細(xì)信息。

焊接完兩個(gè)部件后，將它們放在面包板上并按如下方式設(shè)置接線：

表格形式的接線設(shè)置：

之后你的面包板應(yīng)該是這樣的：

搭建 Pico SDK 開(kāi)發(fā)環(huán)境
您首先需要使用 Raspberry Pi 的 Pico SDK 和所需的工具鏈設(shè)置您的計(jì)算機(jī)。

有關(guān)詳細(xì)信息，請(qǐng)參閱“ Raspberry Pi Pico 入門(mén)” 。

獲取和編譯 pico-audio-spectrogram 應(yīng)用程序

確保PICO_SDK環(huán)境變量已設(shè)置。

在終端窗口中，克隆 git 存儲(chǔ)庫(kù)并更改目錄：

創(chuàng)建一個(gè)構(gòu)建目錄并將目錄更改為它：

運(yùn)行cmake和make進(jìn)行編譯：

按住板上的BOOTSEL按鈕，同時(shí)使用 USB 電纜將板插入計(jì)算機(jī)。

將audio_spectrogram.uf2文件復(fù)制到掛載的 Raspberry Pi Pico 啟動(dòng) ROM 磁盤(pán)：

測(cè)試一下
您現(xiàn)在可以嘗試各種聲音，包括說(shuō)出不同的單詞，以查看它們?cè)陬l譜圖上的實(shí)時(shí)外觀。

以下是在顯示屏上說(shuō)出“是”一詞的示例：

同樣，這就是說(shuō)“不”這個(gè)詞在顯示屏上的樣子：

可以在下面找到“ESC-50：環(huán)境聲音分類(lèi)數(shù)據(jù)集”中各種聲音的示例：

結(jié)論
本方案介紹了如何使用帶有外部數(shù)字麥克風(fēng)和 TFT LCD 的 Raspberry Pi Pico 板來(lái)創(chuàng)建實(shí)時(shí)音頻頻譜圖可視化器。該項(xiàng)目使用Microphone Library for Pico從麥克風(fēng)一次捕獲 64 個(gè)音頻樣本，然后使用Arm 的 CMSIS-DSP 庫(kù)將音頻樣本轉(zhuǎn)換為頻譜圖，然后使用Pico的ST7789 庫(kù)。