上海2023年5月(yue)9日 /美通(tong)社(she)/ -- 越來越多(duo)的(de)新車(che)開(kai)始配備激(ji)光(guang)雷達(da)(da)，以(yi)(yi)提高(gao)車(che)輛的(de)自主安全性和實現更高(gao)級(ji)別的(de)輔助(zhu)駕駛以(yi)(yi)及自動駕駛能力。然(ran)而，純(chun)人工3D標注(zhu)(zhu)和驗收的(de)效(xiao)率(lv)低、耗(hao)時長、成本高(gao)昂。而通(tong)過先進的(de)AI技(ji)術，利用車(che)載激(ji)光(guang)雷達(da)(da)和多(duo)攝像頭，可以(yi)(yi)自動地對(dui)車(che)輛、行人、騎(qi)行人等動態道路使用者進行3D物體檢測，進而高(gao)效(xiao)率(lv)地輔助(zhu)甚至部分替代純(chun)人工標注(zhu)(zhu)。

日前，在(zai)(zai)由黑(hei)芝麻智能(neng)主辦的(de)"2023智能(neng)汽車高(gao)峰論(lun)壇"上(shang)，黑(hei)芝麻智能(neng)機器學習專家張蕾(lei)發表了(le)主題為"基于激(ji)光雷(lei)視(shi)融合的(de)3D自(zi)(zi)動標(biao)注(zhu)技術助力自(zi)(zi)動駕駛更上(shang)一層樓"的(de)演講(jiang)，分享了(le)黑(hei)芝麻智能(neng)在(zai)(zai)3D數據(ju)自(zi)(zi)動標(biao)注(zhu)方面的(de)研(yan)發進展。

自研系統性能方案比肩世界領先算法

在(zai)自動駕駛(shi)中(zhong)需要(yao)用道路上(shang)目(mu)標物3D的(de)(de)(de)位(wei)置進行規劃和決策(ce)，但(dan)傳統的(de)(de)(de)攝(she)像頭解決方案對于深度和3D位(wei)置的(de)(de)(de)估計不夠準確。在(zai)采用了BEV技(ji)術以后，需要(yao)大量的(de)(de)(de)真實3D標注的(de)(de)(de)數據來輔助訓練BEV上(shang)的(de)(de)(de)3D模型(xing)，這(zhe)樣可以融合多個攝(she)像頭的(de)(de)(de)信息，直接去獲得3D世界的(de)(de)(de)物體(ti)。

為此，黑芝麻智能自主設計和開發了一套基于激光雷達和多攝像頭進行3D自動標注的方案。該方案履行兩階段的方法，第一階段是先通過多幀點云的方式和圖像融合，得到初始的3D標注；第二階段是以物體為中心的3D精調，進一步提高3D檢測精準度。

對于3D物(wu)體(ti)框的(de)(de)(de)(de)精調，黑芝麻智能采(cai)用了兩種不同方(fang)(fang)案。靜(jing)態(tai)物(wu)體(ti)在(zai)多幀(zhen)點云(yun)對齊以(yi)后，可(ke)以(yi)得到一個密度非(fei)常高(gao)的(de)(de)(de)(de)單個物(wu)體(ti)點云(yun)。在(zai)單幀(zhen)點云(yun)里即使看(kan)不到一個物(wu)體(ti)的(de)(de)(de)(de)全貌，但經(jing)過以(yi)物(wu)體(ti)為中心的(de)(de)(de)(de)點云(yun)融合以(yi)后，基本(ben)上(shang)可(ke)以(yi)看(kan)到完(wan)整的(de)(de)(de)(de)物(wu)體(ti)形狀(zhuang)，這(zhe)樣可(ke)以(yi)更好地估計(ji)其(qi)尺寸。另一方(fang)(fang)面，對于動(dong)態(tai)物(wu)體(ti)，它的(de)(de)(de)(de)軌跡會形成(cheng)一個有用的(de)(de)(de)(de)信(xin)息，根據(ju)動(dong)態(tai)累計(ji)的(de)(de)(de)(de)點云(yun)也可(ke)以(yi)更好地估計(ji)其(qi)大小和空間上(shang)的(de)(de)(de)(de)位置(zhi)。

張蕾(lei)介紹，黑芝麻智能(neng)的(de)(de)(de)(de)(de)(de)(de)(de)這(zhe)一方(fang)案，融(rong)合(he)了多種模(mo)態，目前包括360度激光雷達和六個(ge)攝像(xiang)頭的(de)(de)(de)(de)(de)(de)(de)(de)信息，還(huan)有(you)前融(rong)合(he)和后(hou)融(rong)合(he)的(de)(de)(de)(de)(de)(de)(de)(de)方(fang)式(shi)。在兩階段(duan)(duan)的(de)(de)(de)(de)(de)(de)(de)(de)模(mo)型(xing)里面，采(cai)用(yong)的(de)(de)(de)(de)(de)(de)(de)(de)是以(yi)物(wu)體為中(zhong)心的(de)(de)(de)(de)(de)(de)(de)(de)點(dian)云(yun)對齊精調的(de)(de)(de)(de)(de)(de)(de)(de)方(fang)式(shi)，生成高度緊(jin)湊(cou)的(de)(de)(de)(de)(de)(de)(de)(de)3D目標檢(jian)(jian)測(ce)框。而多幀激光雷達點(dian)云(yun)的(de)(de)(de)(de)(de)(de)(de)(de)時序(xu)融(rong)合(he)，能(neng)有(you)效(xiao)(xiao)彌補(bu)單幀點(dian)云(yun)的(de)(de)(de)(de)(de)(de)(de)(de)稀疏和遮擋(dang)問(wen)題。同(tong)(tong)時，整個(ge)模(mo)型(xing)不(bu)同(tong)(tong)階段(duan)(duan)可(ke)以(yi)進(jin)行(xing)多種融(rong)合(he)，下一階段(duan)(duan)還(huan)可(ke)以(yi)在整個(ge)模(mo)型(xing)的(de)(de)(de)(de)(de)(de)(de)(de)不(bu)同(tong)(tong)層(ceng)次階段(duan)(duan)進(jin)行(xing)融(rong)合(he)。另外，在采(cai)用(yong)了跟圖像(xiang)檢(jian)(jian)測(ce)做(zuo)后(hou)融(rong)合(he)的(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法以(yi)后(hou)，黑芝麻智能(neng)還(huan)將檢(jian)(jian)測(ce)物(wu)體的(de)(de)(de)(de)(de)(de)(de)(de)類別從三(san)類擴展到十三(san)類，并(bing)且還(huan)可(ke)以(yi)通過聚合(he)的(de)(de)(de)(de)(de)(de)(de)(de)方(fang)式(shi)實現復雜不(bu)規則物(wu)體的(de)(de)(de)(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)。與此同(tong)(tong)時，黑芝麻智能(neng)的(de)(de)(de)(de)(de)(de)(de)(de)方(fang)案，采(cai)用(yong)了模(mo)塊化(hua)設(she)計，可(ke)根據不(bu)同(tong)(tong)需求(qiu)增加(jia)、去除可(ke)選的(de)(de)(de)(de)(de)(de)(de)(de)處理環節(jie)，達到最優化(hua)效(xiao)(xiao)益。

根據在Waymo公開數據上測試的結果，黑芝麻智能3D 物體自動標注系統的性能可以比肩世界領先算法的性能。

自建數據采集系統與完整的云服務平臺

基于華山二號(hao)A1000芯片(pian)，黑芝麻智能還(huan)可同時提供傳(chuan)感器采(cai)(cai)集設備，客戶可基于這套設備同步采(cai)(cai)集360度(du)旋轉激光雷達和(he)6個1080p攝像頭數據，同時采(cai)(cai)集IMU、GPS、輪速編碼器等多(duo)種(zhong)數據。

黑芝麻智能還可(ke)以對這一3D自(zi)動標注系統(tong)做進(jin)一步(bu)(bu)擴展，包括通(tong)過差(cha)異(yi)化(hua)的(de)(de)多(duo)模型(xing)集(ji)成(cheng)來進(jin)一步(bu)(bu)提高算(suan)法(fa)準(zhun)確度(du)，通(tong)過運行(xing)時的(de)(de)數(shu)據增強來進(jin)一步(bu)(bu)提高算(suan)法(fa)準(zhun)確度(du)，通(tong)過半(ban)監督(du)學習(xi)和自(zi)監督(du)學習(xi)來訓練更好的(de)(de)模型(xing)，通(tong)過在(zai)神經(jing)網絡深層結構上(shang)的(de)(de)多(duo)傳(chuan)感(gan)器融合來進(jin)一步(bu)(bu)提高模型(xing)能力，通(tong)過融合聚(ju)類方(fang)法(fa)來檢(jian)測(ce)未知的(de)(de)路面障礙物等等。

張蕾在演講結尾時(shi)表示，在開發基(ji)于激光雷達(da)和多攝(she)像(xiang)頭的自動駕駛領域的 3D 物體自動標(biao)注(zhu)系統的同時(shi)，黑芝(zhi)麻智能可為客(ke)戶(hu)提(ti)供數據采集、數據預處理、3D 自動標(biao)注(zhu)、人工標(biao)注(zhu)及檢驗的云服務平臺。