【原】非重復型掃描激光雷達的運動畸變矯正

汽車激光雷達在現代自動駕駛中發揮著越來越重要的作用，因為它可以在視野（FoV）中對物體進行直接而準確的3D描述。但是，點云的模糊性通常在對象運動時發生，與快門相機中的運動模糊機制類似，畸變源于激光雷達的掃描性質，如圖1所示：

圖1：360°旋轉掃描（Velodyne，左）和非重復掃描（Livox Horizon，右）產生的典型失真，其中非重復掃描將來自不同時間和位置的點云合并到單個幀中，并降低了運動失真

漸進式飛行時間（ToF）掃描法會在被觀測對象在這些測量過程中移動時一個接一個地進行。糾正這些畸變不僅可以更好地對對象進行三維描述，還可以作為一種手段，精確評估每個實例中移動對象的速度。非常需要全速度信息（例如4D激光雷達）和相關的校正點云畸變，以幫助目標識別、姿態識別、跟蹤、運動預測和決策。傳統360°旋轉激光雷達的畸變已在之前的工作中有所描述，其中的現象通常是物體的變形（圖1的左部分）。然而，由于汽車行業對性能、可靠性和成本的更高要求，新興的激光雷達被開發出來，并且具有更嚴重的運動失真（表一）。

將相機和激光雷達融合在一起進行全三維速度估計將兩者的優點結合在一起。如圖2 ：

圖2：激光雷達具有良好的徑向精度，但缺乏角度分辨率，相機具有良好的角度分辨率，但無法直接檢測距離，它們的融合可以提供對3D對象的精確的測量。

在本文設計了一種傳感器融合方法，以同時識別運動物體的速度，并從非重復型激光雷達中恢復模糊的點云，其貢獻如下。

• 這是針對新興非重復型激光雷達畸變的首次工作。我們結合相機和激光雷達各自的優點，構造了一種概率傳感器融合算法，以精確校正非重復掃描類型的畸變。

• 在卡爾曼濾波系統中估計并組合完整而精確的三維速度，從而實現精確的運動目標預測和跟蹤。

• 提供了一個完整的框架解決方案，從前端傳感器檢測到后端跟蹤，具有實時性能，并開源，以加速新興激光雷達的使用和發展。

A、 概述

硬件系統如圖3所示。這里選擇Livox Horizon激光雷達作為非重復掃描激光雷達的示例，其掃描模式類似于圖1中右下角的模式。Livox Horizon激光雷達安裝在行駛車輛的頂部。RGB攝像機安裝在與激光雷達相同的FoV上，用于檢測運動物體并估計其切向運動速度。利用GNS能量系統（APX-15）精確測量自我運動，進行相應的畸變校正，激光雷達、攝像頭和APX15模塊在時間上同步。

圖3：硬件系統由Livox Horizon激光雷達、RGB攝像機和GNSS慣性模塊組成，該系統安裝在移動車輛上，用于從真實道路場景中采集數據

利用這套傳感器硬件，提出了一個系統框架來估計移動物體的速度并矯正其點云的畸變，系統方案如圖4所示：

圖4：該框架的方案將激光雷達和camerea的優勢與基于卡爾曼濾波器的跟蹤相結合。（又是一個完全的基于相機和激光雷達的目標檢測，跟蹤的方案，值得學習）

外參校準的激光雷達和相機將傳感器數據輸入預處理階段，其中包括自我運動校正、目標檢測和關聯，ego運動校正使用APX慣性系統或lidar里程計計算，這兩種系統均已在框架中提供。在檢測中，使用圖像檢測方法或激光雷達檢測方法或兩者來識別運動物體。一旦識別出圖像中的對象，就會提取并關聯相應的點云，分別對點云數據和圖像數據進行優化，分別以幀更新率進行三維速度估計和切向速度估計。這兩個速度被概率地融合成一個統一的速度，并作為測量輸入卡爾曼濾波（KF）過程，KF過程針對每個跟蹤對象運行，以計算其最終速度。使用此速度，可以校正每個移動對象的畸變點云。

B、 預處理

首先需要對坐標進行統一處理，并對所有傳感器進行校準，以將其轉換為同一坐標下。它們包括激光雷達相機外參校準和激光雷達APX外參校準，時間同步也在硬件級別執行。由于所有傳感器都是同步的，因此我們可以將單個相機幀（通常為100 ms）期間收集的點云數據校正到t0幀的開始。Pi用于表示激光雷達系統中第i個點的坐標。采樣點i時刻和幀開始時間t0之間的時間ti存在偏差。為了糾正不匹配，對于每個點，獲得最接近的 APX velocity vi輸出，以轉換偏差。如果無法使用精確的GNSS慣性系統，則可以使用激光雷達慣性里程計系統來估計自我運動速度，在去除自我運動失真后，通過YOLO算法通過圖像檢測運動對象和相應的ROI邊界框，通過邊界框分割對象的相應點云，并將其與對象關聯，如果攝像機檢測不可用，也可以使用我們在框架中提供的3D點云檢測算法。

C、 相機切向速度測量

該相機提供了良好的切向速度測量機制，如圖2所示，圖像分辨率要比使用角分辨率稀疏的點云更高，以準確確定切向速度，對于時間t0和t1處的兩個連續幀，運動相對較小，并且執行KLT稀疏光流算法來跟蹤像素運動場。由于每個移動對象的檢測邊界框可用，因此邊界框內的光學矢量指示對象的相對2D移動。RANSAC方法用于去除異常值并細化結果。如圖5 所示

圖5：速度測量可以分解為兩個正交方向，由于分辨率較高，相機可以更精確地測量切向（球坐標中的極向和方位向）速度，而激光雷達可以測量切向和徑向。在切向方向上融合兩種傳感器模式是有益的

D、 激光雷達測量和優化

激光雷達提供了相機的另一種成像模式，首先，直接距離測量允許估計對象沿徑向（深度）方向的移動。攝像頭模式中缺少此功能。第二，盡管相對稀疏，激光雷達點云仍然可以用來估計切向速度，計算出的協方差可以與相機模態融合。我們提出了一種新的優化方法來估計目標的速度，該速度將投影到徑向和切向上，徑向部分將用作估計的對象徑向速度，而切向部分將與相機測量融合，以結合兩種模式的有效性。

E、 狀態融合

卡爾曼濾波器用于組合每幀中的不同速度測量值，并在連續幀中保持跟蹤速度。在每一幀中，輸入來自激光雷達和相機的得出來的跟蹤量，并最終融合的速度vf以幀輸出速率，更詳細的公式介紹請查看原文介紹。

A、 切向分辨率增強攝像頭能力

圖6展示了攝像機在點云失真校正中的切向分辨率增強能力，來自三個連續幀的原始點云顯示在第一行，由于非重復激光雷達的掃描性質，模糊效果非常明顯，當僅使用激光雷達的點云進行優化時，與使用激光雷達和相機進行優化時相比，切向上的校正明顯不足，尤其是在移動對象主要沿切向移動的情況下（情況2和3）。卡爾曼濾波器被用作所有情況的后端，以去除異常值并提供更好的連續速度估計。

圖6：利用該方法對三個連續幀進行點云畸變校正，該方法僅對激光雷達點云進行優化，對激光雷達進行相機優化，原始點云顯示在頂部，相應的圖像顯示在底部

表II顯示了圖6所示三種情況下的定量評分：

B、 畸變校正評估

Hold等人提出的方法是一種最先進的算法，廣泛用于校正傳統360°旋轉型激光雷達的激光雷達點云畸變。利用所提出的方法（激光雷達和攝像頭）和HOLD方法，評估了12個真實道路數據，其中57個是使用自制車頂安裝系統收集的跟蹤移動對象。圖7示出了為每個被跟蹤的移動對象計算的得分。根據該方法計算的平均脆度得分（0.32）是現有方法值（0.134）的兩倍多。這一結果進一步驗證了所提出的校正非重復型激光雷達運動模糊的框架是有效的。

圖7：對實際道路數據上的跟蹤對象，采用該方法和HOLD方法進行的運動失真校正的清晰度評分

C、 跟蹤性能

為了進一步了解所提出的方法如何跟蹤對象并及時執行畸變校正，我們查看了圖7中的幾個跟蹤對象和相應的交通場景，性能如圖8所示。在繁忙的交通情況下，同時跟蹤多個移動對象，并估計其速度，第三列是原始點云（第二列）校正后的點云鳥瞰圖，展示了減少模糊度的有效性，值得注意的是，卡車/公共汽車的污損效果得到了令人滿意的消除，轎車的形狀和車窗大多得到了實時恢復。

圖8：利用該方法對常見交通場景進行跟蹤和畸變校正，提供了估計車速的大小，用該方法恢復了卡車、公共汽車和轎車的形狀

在圖9中，展示了多個被跟蹤對象的跟蹤性能和得分。藍色虛線是從原始點云計算的分數。由于非重復掃描產生較大的模糊，得分較低。在校正傳統360°旋轉激光雷達點云時采用的HOLD方法產生的脆度分數略好于原始點云。在一定時期內，性能可能會更好，但一致性較低。該方法結合了激光雷達和相機，始終工作得更好，在畸變校正方面顯示出更高效和更穩健的框架

D、 實時分析

最后進行了運行時性能分析。在連續幀中同時進行多個運動目標的檢測和跟蹤、速度估計和點云畸變校正。卡爾曼濾波器接收激光雷達相機融合的速度測量值，保持最佳預測速度并校正失真。以上任務是在運行于3.80 GHz的Intel i7-10700K CPU上進行評估的。可以獲得實時性能。如下表：

本文提出了一種魯棒的基于傳感器融合的速度估計器和點云畸變校正方法，通過將相機和激光雷達模式與其獨特的強度進行融合，新興激光雷達獨特的非重復掃描模式產生的畸變可以得到令人滿意的矯正，由于能夠有效且準確地跟蹤移動對象，我們認為該框架特別適合在自動駕駛任務中采用非重復型激光雷達，我們希望這個開源框架和數據能夠對學術界和專門從事這些領域的工業界有所幫助。