Что такое камеры определения глубины? Сколько существует типов камер определения глубины?

Традиционные 2D-камеры видят только плоский, двухмерный мир. Они способны распознавать форму и цвет объектов, но не могут определять их положение, размер или расстояние в пространстве. Это ограничивает возможности многих передовых роботизированных и автоматизированных решений. Появление камер с определением глубины изменило ситуацию. Они наделяют машины новой «трехмерной» способностью восприятия, позволяя системам понимать пространство подобно человеку и открывая обширные перспективы применения решений в области встраиваемого зрения и трехмерного восприятия.

Как консультант, специализирующийся на модулях камер, в этой статье мы подробно проанализируем технологию камер с определением глубины, её основные типы и применение в робототехнике, логистике и AR/VR. Мы рассмотрим особенности каждой технологии, чтобы помочь инженерам понять принцип работы камер с определением глубины и принять наиболее обоснованное решение для своих проектов.

Что такое камера с определением глубины и зачем она нужна?

Камера с определением глубины, также часто называемая 3D-камерой, — это камера, способная фиксировать информацию о глубине для каждого пикселя в кадре. Она выводит не только традиционное RGB-изображение, но и карту глубины или данные облака точек. Каждое значение пикселя на карте глубины представляет собой расстояние от этой точки до камеры.

3D-камеры необходимы, поскольку двухмерные изображения не позволяют решить ключевую проблему компьютерного зрения — пространственную неоднозначность. Двухмерная камера не может отличить небольшой близко расположенный объект от крупного удалённого объекта. Кроме того, изменения освещения, тени и частичное перекрытие объектов могут привести к сбоям в работе двухмерных систем машинного зрения. Например, объект в тени может быть ошибочно распознан как другой объект или вообще не обнаружен.

Камеры глубины идеально решают эту проблему, обеспечивая точную информацию о расстоянии. Они предоставляют машинам геометрическую информацию, не зависящую от освещения, цвета и текстуры. Эта способность восприятия на основе трёхмерной формы позволяет машинам понимать реальный мир и взаимодействовать с ним, закладывая основу для реализации встроенных решений трёхмерного зрительного восприятия.

Из всех существующих сегодня технологий определения глубины три наиболее популярные и широко используемые следующие:
1. Структурированный свет
2. Время пролёта
2.1 Прямое время пролёта (dToF)
2.1.1 LiDAR
2.2 Непрямое время пролёта (iToF)
3. Стереозрение

Далее рассмотрим подробнее принцип работы каждой из этих технологий определения глубины.

Три основные технологии камер глубины

Чтобы понять, как работают камеры определения глубины, важно глубоко разобраться в основных типах технологий камер глубины, лежащих в их основе. В настоящее время существует три основные и наиболее распространённые технологии камер глубины.

1. Камера структурированного света

Камера структурированного света — это технология активной съемки. Она использует мощный инфракрасный проектор для нанесения известного светового узора (например, специального узора, состоящего из тысяч точек) на сцену. Затем одна или несколько камер фиксируют искажение этого узора на поверхности объекта. Рассчитывая это искажение, камера может определить трёхмерную форму объекта и расстояние до него.

Эта технология обеспечивает высокоточные и высокодетализированные данные о глубине, особенно на близких расстояниях. Возможность измерений с точностью до долей миллиметра делает её идеальной для задач, требующих точного измерения деталей объектов. Однако проецируемый свет может подвергаться влиянию окружающего освещения (особенно яркого солнечного света), что снижает точность измерений. Кроме того, при одновременном использовании нескольких камер структурированного света в одном пространстве их проецируемые узоры могут взаимно мешать друг другу.

2. Камера времени пролёта

Камеры времени пролета (ToF), основанные на принципе постоянной скорости света, излучают инфракрасный свет и измеряют время, необходимое для того, чтобы световой импульс отразился и вернулся к сенсору камеры. На основе этой временной разницы можно точно рассчитать расстояние между объектом и камерой. Этот процесс, как правило, выполняется параллельно для каждого пикселя, что обеспечивает захват глубины с высокой частотой кадров.

В зависимости от метода определения расстояния ToF подразделяется на два типа: прямой метод времени пролета (DToF) и непрямой метод времени пролета (iToF).

2.1. Прямой метод времени пролета (dToF)

dToF напрямую измеряет время пролета светового импульса от момента излучения до момента возврата. Для точного определения времени прибытия отдельных фотонов используется специализированный сенсор. Такой прямой метод измерения позволяет достичь больших дальностей измерения и более высокой точности.

2.1.1. LiDAR

LiDAR (лазерный радар) — это тип технологии dToF. Обычно он использует лазерный сканер для поочерёдного излучения лазерного света в точки сцены и приёма отражённого света с целью генерации облака точек высокой точности. Большой радиус обнаружения LiDAR и высокая устойчивость к окружающему освещению делают его идеальным решением для автономного вождения и высокоточного картографирования роботами.

2.2. Косвенный метод измерения времени пролёта (iToF)

в методе iToF время напрямую не измеряется. Вместо этого передаётся непрерывная модулированная световая волна, а измеряется разность фаз между отражённым и излучённым светом. Эта разность фаз пропорциональна времени пролёта света. Системы iToF, как правило, компактнее, потребляют меньше энергии и обеспечивают более высокую частоту кадров. Они подходят для краткосрочных внутренних применений, таких как распознавание жестов и аутентификация по лицу.

3. Стереозрение (стереоскопическая камера)

Стереокамера имитирует бинокулярное зрение человека. Она использует две камеры, установленные на фиксированном расстоянии друг от друга (базисе), для одновременной съёмки одного и того же сцены. С помощью сложных алгоритмов система находит соответствующие точки на двух изображениях и, применяя принципы триангуляции, вычисляет положение каждой точки в трёхмерном пространстве, формируя карту диспаритета.

Эта пассивная технология не требует дополнительного источника света, что делает её пригодной для использования на открытом воздухе и в условиях достаточного естественного освещения. Она обеспечивает высококачественные карты глубины, не зависящие от материала объектов. Однако стереозрение требует значительных вычислительных ресурсов и мощного процессора для выполнения сопоставления изображений. Кроме того, оно плохо работает в областях без текстуры (например, на белых стенах или однотонных поверхностях), поскольку алгоритм не может найти соответствующие точки.

Каковы основные сценарии применения камер глубины?

технология 3D-камер перешла из лабораторий в коммерческое применение, и её разнообразные возможности кардинально меняют различные отрасли.

1. Робототехника и автоматизация

Камеры глубины для робототехники выступают в роли «органов пространственного восприятия» роботов. На автоматизированных производственных линиях роботы должны точно распознавать и захватывать детали, случайным образом сложенные в штабель. 3D-камеры способны генерировать высокоточные данные облака точек, помогая роботам понимать трёхмерную ориентацию и положение объектов, что обеспечивает точный захват, сортировку и сборку, значительно повышая эффективность и гибкость производства.

2. Дополненная реальность (AR) и виртуальная реальность (VR)

Устройства AR/VR требуют осознания окружающей среды в реальном времени для бесшовного интегрирования виртуальных объектов в реальный мир. Камеры глубины могут выполнять трёхмерное сканирование помещения пользователя и генерировать точную карту глубины. Это позволяет точно размещать виртуальные объекты на столе или скрывать их за реальными объектами, значительно повышая уровень погружения и интерактивности для пользователя.

3. Логистика и управление складом

Автоматизация складских операций, измерение объёма посылок и паллетизация являются ключевыми требованиями в логистической отрасли. 3D-камеры позволяют быстро измерять объём и вес посылок для оптимизации загрузки грузовиков. В автоматизированных складах они могут направлять роботов для точного выбора и размещения товаров на полках, а также выполнять инвентаризацию, обеспечивая эффективное управление складом.

4. Здравоохранение и биометрия

В сфере здравоохранения 3D-камеры могут использоваться для бесконтактного измерения тела, анализа осанки и планирования хирургических операций. С помощью 3D-сканирования камеры глубины позволяют создавать цифровые модели человека для изготовления индивидуальных протезов и ортезов. В биометрии они распознают уникальную геометрию лица, обеспечивая более надёжную аутентификацию и предотвращая подделку с помощью фотографий или видео.

РЕЗЮМЕ

Камеры с определением глубины представляют собой значительное технологическое достижение в области встроенной машинного зрения. Независимо от того, используются ли в них структурированный свет, время пролёта или стереозрение, каждая из этих технологий предлагает уникальные решения для трёхмерного восприятия. Понимание принципов работы и характеристик различных типов камер глубины, а также их точный выбор в зависимости от конкретного применения (например, камеры глубины для робототехники), является обязательным требованием для каждого инженера по машинному зрению. Камеры глубины наделяют машины способностью воспринимать трёхмерный мир и способствуют глубокой трансформации процессов от автоматизации к интеллектуализации.

Muchvision помогает вам выбрать камеру глубины

Испытываете трудности при выборе подходящей камеры глубины для вашего проекта? Свяжитесь с нашей командой экспертов уже сегодня для получения профессиональных консультаций по встроенному зрению и решениям в области 3D-восприятия, которые помогут вам создать наилучшую систему машинного зрения для вашего применения.