開發(fā)板介紹

了解到星宸科技也開始做開發(fā)板了， 他們家的芯片主打性價比，剛好對端側(cè)的AI開發(fā)比較感興趣，在他們商店買了一套Comake PI D1開發(fā)板套件，此文記錄一下開箱與使用體驗(yàn)！希望能幫助到大家

更多詳細(xì)的介紹可以去看[Comake官網(wǎng)] ，或者Comake社區(qū)的[貼子] 。

1.到手開箱

開箱！可以看到配件，開發(fā)板都在箱子里，整個套件的東西還是很多的。

全部拿出來，可以看到包括了：開發(fā)板、電源、串口板、亞克力板和螺栓、屏幕、麥克風(fēng)、揚(yáng)聲器還有組合固定用的亞克力板和螺栓。

接下來把整個套件安裝起來。

2.硬件環(huán)境搭建

在官方的[Sigdoc] 中，有對板子硬件的說明，可以看到開發(fā)板的系統(tǒng)介紹和接口介紹

從客服那邊了解到， 安裝可以參考官方Comake社區(qū)中的[配件安裝說明] 以及相應(yīng)[安裝視頻]

另外這邊特別提醒如下：

1.一定要斷電狀態(tài)下安裝連接。

2.特別注意屏幕的連線一定要參考官方的配件安裝說明，接錯或者接反很可能燒壞屏幕。

整個配件安裝完就和下圖一樣

整個套件的內(nèi)容還是比較多的，全部連接上也比較分散。不過還好官方也提供了亞克力板來固定，參考官方的安裝教程，可以把開發(fā)板和亞克力板組合起來，把攝像頭、屏幕等配件固定上去。全部安裝好之后應(yīng)該是這個樣子。

3.軟件環(huán)境搭建

3.1獲取軟件資料

Comake D1的相關(guān)開發(fā)資料，可以到[Comake開發(fā)者社區(qū)] 去下載。

這里注意，需要注冊賬號并且完成實(shí)名認(rèn)證，認(rèn)證通過后方可下載SDK等資料。注冊的時候需要提供認(rèn)證材料。審核是比較寬松也很快的，著急的話可以直接聯(lián)系客戶。

驗(yàn)證通過后就可以下載了。

可以根據(jù)需要下載，下載完后的資料包內(nèi)包括有軟硬件資料及說明文檔，還有各種工具包。

另外他們還建了官方外網(wǎng)的git server， 下一個SDK大版本發(fā)布之前，如果想追新， 買了開發(fā)板之后， 也可以聯(lián)系客戶去申請官方git賬戶，
實(shí)時的去下載開發(fā)版本的SDK。

3.2開發(fā)環(huán)境搭建

開發(fā)環(huán)境通常包括 Linux服務(wù)器(用來編譯代碼)、Windows工作臺(用來編寫代碼)和目標(biāo)板（用來運(yùn)行代碼），三者處于同一個網(wǎng)絡(luò)中。這里我在虛擬機(jī)上搭建了Ubuntu服務(wù)器用來編譯代碼。具體的步驟不再贅述，可以網(wǎng)上搜索，有很多詳細(xì)的教程。在官方的[Sigdoc 編譯環(huán)境搭建] 中也有對應(yīng)的教程。

如果遇到問題也可以參考Comake社區(qū)上的這篇[貼子] 。

4.開始使用

4.1. GUI 的功能體驗(yàn)

開發(fā)板在出廠時，默認(rèn)燒錄了帶gui界面的32bit image。因此即使上面軟件環(huán)境搭建一時沒有完成，也可以先體驗(yàn)使用一下。配件和亞力克板安裝完成后，上電，啟動，可以直接啟動到gui界面，在屏幕上會顯示flythings的gui。

該GUI上面看介紹大概支持如下功能，可玩性還是挺高的：

1.音頻播放：演示錄音和播放的 Demo

演示不同麥克風(fēng)輸入硬件（ AMIC 模擬麥克風(fēng)，最大支持3通道輸入。 DMIC 數(shù)字矩陣麥克風(fēng)，最大支持 8通道輸入）的錄音效果，支持不同8K/16R/45K不同的采樣率，支持錄音音量調(diào)節(jié)。

2.視頻播放：演示視頻的播放，目前是固定演示一個片源，支持音量的調(diào)節(jié)

3.攝像頭：演示單路攝像頭的畫面顯示，并對接了 IPU 的物體識別算法，能夠?qū)崟r識別攝像頭看到的物體類型和位置，例如人物、顯示器、鍵盤等

4.音頻算法播放：

• 人聲消除算法演示，算法打開時消除播放聲音中的人聲，用于歌時，制作不帶原唱的背景音樂
• APC 算法演示，演示 ANR （降噪）、 EQ （均衡器處理）、 AGC （自動增益控制）三個算法的集合，這個是音頻算法前處理的基本功能
• 環(huán)繞音渲染增強(qiáng)，增強(qiáng)空間音效
• 人聲關(guān)化算法，一般用于 R 歌，為輸入的人聲增加混響等效果，讓聲音聽起來更好聽

5.KMS + ASR :

• KWS 關(guān)鍵詞識別， DMIC 收音后，給到 IPU 做關(guān)鍵字匹配，如果識別到了就點(diǎn)亮右下角"你好小星"
• ASR 語音轉(zhuǎn)文字，暫時不支持語義識別

6.TTS ：文本轉(zhuǎn)語音， Demo 演示了5段不同的文本語音播放的效果，點(diǎn)擊文本位置觸發(fā)文字轉(zhuǎn)語音播放

7.火山模型： 對接了豆包大模型，支持模型功能的演示

接下來我們來一起看下其中一些功能的效果吧??！

4.1.1. 攝像頭顯示

滑動GUI到第二頁，可以看到攝像頭的圖標(biāo)

點(diǎn)擊就可以打開?？梢钥吹綌z像頭的畫面輸出到屏幕上。并且附帶了模型檢測，在攝像頭前的物體會被識別然后畫框。

4.1.2. 火山引擎大模型

在GUI界面第三頁，可以看到有火山引擎圖標(biāo)。這個是內(nèi)置的demo程序，不能直接使用，需要先在火山引擎上配置文件并且載入板端。

具體的操作可以跟著Comake社區(qū)的[貼子] ，一步一步操作。這里不贅述了。

在全部配置完成后，啟動。屏幕會切換到攝像頭畫面

同時，揚(yáng)聲器會播放語音“你好，我是小星”的歡迎詞。如果你說“你好小星”，那么也會有相應(yīng)的語句回應(yīng)。這里我們插上串口板，可以看見大模型的數(shù)據(jù)發(fā)送。

4.2. AI實(shí)戰(zhàn)Demo功能體驗(yàn)

另外建議把把串口也連上，串口的連接同樣可以參考Comake開發(fā)者社區(qū)的這篇[貼子] 。 連上串口之后，除了
上述GUI功能， 該開發(fā)板還提供了大量的demo程序，比如 /customer/opendla 提供了大量的AI 算法demo ,具體介紹可以參考 [IPU Sigdoc 開源算法demo實(shí)戰(zhàn)的介紹]

/customer/opendla # ls 
models                      prog_sed_eat
prog_asr_conformer          prog_segmentation_yolov8
prog_benchmark              prog_separation_sepformer
prog_classification         prog_speaker
prog_detection_yolov11_obb  prog_tts_fastspeech2
prog_detection_yolov5       prog_tts_vits
prog_detection_yolov8       prog_vad_nemo
prog_llm_conformer_punc     prog_vlm_clip
prog_llm_transformerlm      prog_vlm_mobilesam
prog_ocr_lpr                prog_vlm_tag2text
prog_ocr_ppocr              prog_vlm_yolo_world
prog_pose_yolov8            resource

我這里跑了一下yolov8 算法的效果：

1.串口輸入如下cmd

cd /customer/opendla
  ./prog_detection_yolov8 -i ./resource/bus.jpg -m ./models/dectection/yolov8n_640x640.img

2.輸出結(jié)果如下：

4.3. 其他功能Demo的體驗(yàn)

在/customer/sample code 也放了海量demo，具體每個demo的用法可以參考SDK內(nèi)部對應(yīng)source code目錄下的readme.md .感興趣的小伙伴可以進(jìn)一步的去研究。

/customer/sample_code # ls -x
audio_ai_ao_demo
audio_alg_2mic_bf_ssl_demo
audio_alg_4mic_bf_ssl_demo
audio_alg_aec_demo
audio_alg_apc_demo
audio_alg_kws_demo
audio_alg_mix_demo
audio_alg_sed_demo
audio_alg_vad_demo
audio_mp3_play_demo
bootlogo_mem_free
crypto_aes_demo
crypto_rsa_demo
crypto_sha_demo
disp_panel_demo
disp_pspi_demo
disp_sensor2Panel_demo
dla_detection_demo
dla_ipu_utilization
double_sensor_transfer_double_sensor_openh264_transfer_demo
double_sensor_transfer_double_sensor_transfer_demo
gfx_gfx_demo
intercoremgr
ive_sample_16bit_to_8bit
ive_sample_acc
ive_sample_add
ive_sample_adp_thresh
ive_sample_alpha_blending
.....等

5.總結(jié)

1.comake PI D1的套件內(nèi)容非常齊全，在視頻相關(guān)、音頻相關(guān)、AI相關(guān)的開發(fā)上有豐富的硬件資源和軟件資料。同時[Sigdoc]和[Comake開發(fā)者論壇] 都有內(nèi)容豐富易上手的開發(fā)指導(dǎo)資料，也可以在[Comake開發(fā)者論壇] 上直接提問。

2.買了開發(fā)板還可以進(jìn)入vip 群，有什么問題都可以及時的交流，原廠直接支持

總的來說，Comake PI D1在智慧視覺、智慧音頻、智能機(jī)器人、小屏顯示、工業(yè)HML PLC等應(yīng)用的音視頻處理+AI方向上有非常不錯的使用體驗(yàn)和使用前景。

審核編輯 黃宇