一種三維視覺目標檢測與識別方法與裝置
1. 痛點問題
我們生活在一個真實的三維世界中,二維環(huán)境感知是遠無法滿足我們的實際需求。在諸如自動駕駛、機器人抓取和三維目標識別等應(yīng)用中(如圖1),我們經(jīng)常需要推理三維空間中物體之間的位置關(guān)系,從而能夠理解真實三維場景并做出進一步的決策行為。
圖1 自動駕駛、視覺抓取、物體識別
2. 解決方案
本技術(shù)成果提出了一種三維視覺目標檢測與識別方法。在三維視覺目標檢測方面,提出了一種基于關(guān)系推理網(wǎng)絡(luò)的單目三維物體檢測方法,方法流程圖如圖2所示。方法提出了一種新的單目三維物體檢測架構(gòu),訓(xùn)練了一個深度關(guān)系推理網(wǎng)絡(luò)來估計三維候選和真實物體之間的空間位置關(guān)系,通過測量投影結(jié)果和真實物體之間的視覺擬合度來實現(xiàn)高精的三維空間定位。
圖2 三維目標檢測的流程圖
在三維視覺目標識別方法,提出了一種基于球面分形卷積神經(jīng)網(wǎng)絡(luò)的三維點云識別技術(shù),方法流程圖如圖3所示。方法通過引入球面分形結(jié)構(gòu),將原始三維點云通過可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)投影到球面,使得卷積神經(jīng)網(wǎng)絡(luò)可以高效處理三維點云數(shù)據(jù)并進行特征特征,同時通過設(shè)計基于分形結(jié)構(gòu)的層次化學(xué)習(xí)框架,提高了三維點云物體識別的精度,實現(xiàn)了對于三維點云目標在旋轉(zhuǎn)條件下特征表示的魯棒性。
合作需求
尋求在人工智能、智能機器人、智慧城市等領(lǐng)域有相關(guān)技術(shù)開發(fā)、市場推廣經(jīng)驗,能推進本技術(shù)落地的高科技企業(yè),可以進行深度合作。本技術(shù)成果有望在自動駕駛、虛擬現(xiàn)實等場景進行落地應(yīng)用。
清華大學(xué)
2021-12-16