В LiDAR-приложениях дождь, туман и пыль являются распространёнными источниками шума. В определённой степени шум влияет на результаты алгоритмов, например приводит к ложному обнаружению объектов, поэтому шум облака точек нужно фильтровать в соответствии с реальной ситуацией. С учётом этого Livox встроила в выходные данные облака точек LiDAR информацию тегов для идентификации многоэховых сигналов и шумов, чтобы помочь пользователям эффективнее справляться с шумом облака точек.

 

I. Что такое LiDAR Tag?

 

Tag — это данные, указывающие информацию о множественных отражениях и шуме в данных облака точек LiDAR. Формат информации Tag определяется следующим образом:

 

 

 

II. Что содержит Tag?

 

Каждая информация Tag состоит из 1 байта, а содержащиеся в нём данные сгруппированы следующим образом:

Группа 1: bit7 и bit6

Группа 2: bit5 и bit4

Группа 3: bit3 и bit2

Группа 4: bit1 и bit0

 

Среди них вторая группа в информации Tag указывает последовательность эха точки выборки.

 

Благодаря коаксиальной оптической схеме LiDAR Livox даже при отсутствии обнаруживаемых объектов вокруг генерирует эхо, записываемое как Echo 0. Если в зоне обнаружения есть объект, первый вернувшийся лазерный сигнал записывается как Echo 1, затем Echo 2 и так далее. Если целевой объект расположен слишком близко (расстояние зависит от продукта; для Horizon это 1,5 м), Echo 1 накладывается на Echo 0 и объединяется с ним в одну волну, которая записывается как Echo 0.

 

Когда LiDAR работает в режиме одного эха, номер эха может быть только 00 или 01: это означает, что облако точек рассчитано на основе информации Echo 0 и Echo 1. В многоэховом режиме возможны четыре типа: 00, 01, 10 и 11, что соответствует расчёту облака точек на основе Echo 0, Echo 1, Echo 2 и Echo 3. Порядковый номер эха — это номер импульсного сигнала, принятого приёмником, а не порядок отправки лазера к объекту. Поэтому информация об эхе во второй группе тегов обычно не может напрямую использоваться для удаления шума. Пользователь может применять её как вспомогательную информацию для алгоритма шумоподавления в зависимости от задачи.

 

Итак, как использовать третью и четвёртую группы информации об эхе в Tag для обработки шума облака точек?

 

III. Использование Tag для обработки шума от пыли, дождя и тумана

 

 

Для шума от пыли, дождя и тумана можно использовать третью группу информации в Tag (то есть bit3 и bit2, чтобы определить, является ли точка выборки шумовой по интенсивности энергии эха) и понять, является ли текущая точка пылью, дождём или нормальной точкой.

 

Есть три уровня достоверности от высокого к низкому: 11, 10 и 01. Чем ниже уровень достоверности, тем выше энергия эха, что означает меньшую вероятность того, что точка является шумом. Обычно лазерный луч меньше подвержен влиянию энергии эха от шума пыли, дождя, тумана, снега и т. п. Поэтому шум имеет два уровня достоверности на основе интенсивности энергии эха:

01 означает слабую энергию эха и более высокую вероятность шума, например точку пыли;

10 означает среднюю энергию эха и среднюю вероятность шума, например шума от дождя или тумана.

Примечание: цвета на рисунке ниже отмечены по Tag, а не по отражательной способности.

 

Tag можно использовать как важную информацию для различения шума от пыли, дождя и тумана, но при опоре только на него в некоторых сложных сценах всё равно возможна ложная или недостаточная фильтрация. Рассмотрим следующий сценарий.

 

Реальная сцена: средний или сильный дождь за окном здания.

Согласно информации третьей группы Tag, пыль может быть корректно отмечена зелёным, а дождь или туман — красным.

 

Реальная сцена: средний или сильный дождь и вода, разбрызганная автомобилем на дороге впереди.

Пыль отмечена зелёным цветом, а дождь или туман — красным. Однако на рисунке видно, что некоторые точки на земле ошибочно распознаются как пыль и туман. В таких случаях для более качественной фильтрации можно учитывать другие пространственные признаки облака точек.

 

Реальная сцена: средний или сильный дождь на перекрёстке.

Пыль отмечена зелёным цветом, а дождь или туман — красным. Та же ситуация, что и на рисунке выше, также присутствует.

 

IV. Обработка пространственного нитевидного шума с помощью Tag

 

Световые пятна, одновременно попадающие на объекты с разной передней и задней дистанцией, могут сделать расчёт глубины неточным и вызвать пространственный нитевидный шум.

 

В этом случае четвёртая группа Tag используется, чтобы определить, является ли точка шумом, исходя из пространственного положения точки выборки, и может применяться для фильтрации шумов вроде нитевидного шума. Возьмём в качестве примера облако точек сканирования потолка на следующем рисунке. Видно, что по краям подвесной лампы появляется множество «нитей», поскольку часть световых пятен попадает на лампу, а другая часть — на потолок за ней, что делает расчёт глубины неточным.

 

 

Тестовый сценарий (* угол изображения немного отличается от облака точек из-за ограничений поля зрения камеры)

 

Эффект после фильтрации с разными уровнями достоверности согласно значениям Group 4 тега показан на рисунке ниже.

Фильтрация облаков точек с уровнем достоверности 01

Дополнительная фильтрация облаков точек с уровнем достоверности 10

Дополнительная фильтрация облаков точек с уровнем достоверности 11

Из приведённой выше сцены видно, что эффект после поэтапной фильтрации с использованием Tag очень заметен.

 

V. Обработка шума солнечного света с помощью Tag

 

Для шума солнечного света LiDAR Livox сначала определяет интенсивность внешнего освещения. При избыточном внешнем свете соответствующие координаты облака точек устанавливаются в 0, то есть фильтруются. Однако если алгоритму требуется дополнительная обработка, шум солнечного света можно отфильтровать по его признакам, например отсутствию очевидных локальных структурных особенностей и большим изменениям глубины облака точек.

 

Как показано на рисунке ниже, шум солнечного света на правом изображении отмечен жёлтым цветом. Когда шум не отфильтрован, LiDAR сначала определяет его как шум солнечного света и устанавливает значение координаты глубины облака точек в 0 для фильтрации. Кроме того, в таких продуктах, как Horizon и HAP, также реализована функция самофильтрации шума солнечного света.

 

 

Однако хорошо известно, что реальные сценарии применения LiDAR обычно сложнее. Tag предоставляет богатую идентификационную информацию, но опора только на Tag иногда приводит к неполной фильтрации. В этом случае лучшего результата можно добиться, сочетая Tag с другими пространственными признаками облака точек, чтобы точнее получить карту облака точек реальной сцены.