Введение в R3LIVE

 

R3LIVE— это новая платформа слияния LiDAR-, инерциальных и визуальных сенсоров, разработанная MaRS Гонконгского университета под руководством профессора Fu Zhang. Она использует измерения LiDAR, инерциальных и визуальных датчиков для устойчивой и точной оценки состояния.

 

R3LIVE построен на их предыдущей работе R2LIVE, которая содержит две подсистемы: LiDAR-инерциальную одометрию (LIO) и визуально-инерциальную одометрию (VIO). Подсистема LIO (FAST-LIO) использует измерения LiDAR и инерциальных датчиков для построения геометрической структуры глобальных карт, то есть положения 3D-точек. Подсистема VIO использует данные визуально-инерциальных датчиков и восстанавливает текстуру карты, то есть цвет 3D-точек.

 

 

Аппаратная система R3LIVE

 

В этом проекте доктор Линь Цзярун создал портативную систему 3D-сканирования на базе LiDAR Livox Avia, промышленной камеры и RoboMaster Manifold 2C. Благодаря нерепетитивному сканированию Livox Avia реконструированная карта получила более плотное облако точек, что значительно повысило устойчивость сопоставления признаков карты. Кроме того, автор использовал встроенный IMU-чип Livox Avia и его синхронный высокочастотный (200 Гц) вывод шестистепенной информации о движении, чтобы эффективно повысить точность позиционирования тесно связанного алгоритма.

 

 

 

 

Схема архитектуры системы R3LIVE

 

Применение Livox Avia в системе R3LIVE

 

В эксперименте R3LIVE автор использовал Livox Avia как датчик глубины для сбора данных на кампусах Университета Гонконга и Гонконгского университета науки и технологий, чтобы проверить устойчивость и точность алгоритма. Полное использование данных 3D-облака точек нерепетитивного сканирования Livox Avia позволило получить более плотную карту, что значительно повысило устойчивость сопоставления признаков. Кроме того, автор использовал встроенный IMU-чип Livox Avia и его синхронный высокочастотный (200 Гц) вывод шестистепенной информации о движении, чтобы эффективно повысить точность позиционирования тесно связанного алгоритма.

 

Публичный экспериментальный набор данных R3LIVE

 

Авторы R3LIVE опубликовали в общей сложности 9 собранных ими наборов данных. Пользователи могут перейти по следующему URL, чтобы скачать наборы данных, воспроизвести и оценить экспериментальный эффект R3LIVE:https://github.com/ziv-lin/r3live_dataset

 

 

Итоги проекта R3LIVE

 

В этой работе автор инновационно представил R3LIVE и эффективно решил следующие задачи:

• Была представлена высокоточная и высокоэффективная система реконструкции цветного облака точек, позволяющая в реальном времени восстанавливать плотное цветное облако точек окружающей среды;
• Проблема невозможности нормального позиционирования LiDAR в деградированных сценах была эффективно решена за счёт объединения с информацией камеры;
• Стремясь продвигать исследования и приложения в отраслях, связанных с LiDAR, с помощью экономически эффективного решения, автор открыл исходный код полного набора программных и аппаратных решений на базе Livox Avia LiDAR;

 

 

 

 

Результаты нескольких наших экспериментов

 

R3LIVE — высокомасштабируемая система. Помимо применения как SLAM-системы для робототехнических задач в реальном времени, её можно использовать для восстановления плотных и точных цветных 3D-карт RGB, например в геодезии и картографии. Кроме того, разработчики R3LIVE предоставили набор утилит для реконструкции и рендеринга полигональных сеток (mesh), чтобы карты, восстановленные R3LIVE, можно было удобнее и эффективнее импортировать в различные 3D-приложения, включая игры и симуляторы, что ещё больше повышает масштабируемость R3LIVE.

Livox приглашает университетские лаборатории и исследовательские команды обращаться для более глубокого обсуждения применений Livox LiDAR. Мы верим, что наши экономически эффективные LiDAR-решения помогут исследованиям, приложениям и развитию смежных областей!

 

 

 

Введение в MaRS

Лаборатория мехатроники и робототехнических систем (MaRS) Университета Гонконга под руководством профессора Чжан Фу специализируется на электромеханических системах и робототехнических приложениях. Сейчас команда добилась значительных успехов в разных областях, включая проектирование аэророботов, планирование и управление, а также SLAM-приложения.

 

Papers

• R3LIVE: устойчивый пакет оценки состояния и картирования в реальном времени с RGB-цветом и тесной связкой LiDAR-инерциально-визуальных данных

Ссылка：https://github.com/hku-mars/r3live

• R2LIVE: устойчивый LiDAR-инерциально-визуальный тесно связанный оцениватель состояния и картирование в реальном времени

Ссылка：https://github.com/hku-mars/r2live

• Fast-LIO: вычислительно эффективный и устойчивый пакет LiDAR-инерциальной одометрии.

Ссылка：https://github.com/hku-mars/FAST_LIO

• ikd-tree: современное динамическое KD-Tree для 3D-поиска kNN.

Ссылка：https://github.com/hku-mars/ikd-Tree

• Loam-livox: устойчивый пакет LiDAR-одометрии и картирования (LOAM) для Livox-LiDAR

Ссылка：https://github.com/hku-mars/loam_livox

• livox_camera_calib: устойчивый высокоточный инструмент внешней калибровки между LiDAR высокого разрешения (например, Livox) и камерой в среде без мишеней.

Ссылка：https://github.com/hku-mars/livox_camera_calib

• mlcc: быстрая и точная внешняя калибровка нескольких LiDAR и камер

Ссылка：https://github.com/hku-mars/mlcc