具有語音功能的機器，可閱讀書籍并回答問題

在這個項目中，我構(gòu)建了啟用語音的可教機器，該機器可以掃描書頁或任何文本源中的文本并將其轉(zhuǎn)換為上下文，用戶可以提出與該上下文有關(guān)的問題，并且該機器可以僅使用上下文進(jìn)行回答。我一直想制造一種易于部署且可以輕松針對給定上下文進(jìn)行培訓(xùn)而無需任何互聯(lián)網(wǎng)連接的邊緣設(shè)備。

硬件部件：

• Raspberry Pi 4 B型×1個
• 英特爾神經(jīng)計算棒2×1個
• Seeed ReSpeaker 2-麥克風(fēng)Pi HAT×1個
• Raspberry Pi攝像頭模塊V2×1個
• 喇叭3W x 2×1個

軟件應(yīng)用程序和在線服務(wù)：

• 樹莓派Raspbian
• 英特爾OpenVINO工具包
• Tesseract OCR
• 深度語音

應(yīng)用程序中使用的機器學(xué)習(xí)模型

使用了三種機器學(xué)習(xí)模型：

1. Tesseract OCR（基于LSTM的模型）

Tesseract是一種OCR引擎，支持unicode，并具有開箱即用地識別100多種語言的能力。可以訓(xùn)練它識別其他語言。

2. DeepSpeech（TensorFlow Lite型號）

DeepSpeech是一個開源的語音轉(zhuǎn)文本引擎，使用由機器學(xué)習(xí)技術(shù)訓(xùn)練的模型，該模型由Google的TensorFlow簡化實施。

3. BERT

BERT是一種語言表示模型，代表變壓器的雙向編碼器表示。預(yù)訓(xùn)練的BERT模型僅需增加一個輸出層即可進(jìn)行微調(diào)，以創(chuàng)建適用于各種任務(wù)（例如問題解答和語言推論）的最新模型，而無需進(jìn)行大量針對特定任務(wù)的體系結(jié)構(gòu)修改。

前兩個模型在Raspberry Pi 4上運行，最后一個模型在使用OpenVINO Toolkit的Intel Neural Compute Stick 2上運行。