Дополненная реальность - это технология, которая расширяет наш естественный мир цифровой информацией для улучшения наших чувств. Мы получаем представление о физической среде реального мира с наложенными изображениями, сгенерированными компьютером. Этот термин был придуман в 1990 году, но только с появлением Интернета и смартфонов дополненная реальность начала оказывать реальное влияние на наши привычки, социальную жизнь и индустрию развлечений.

Расширение происходит в реальном времени и в контексте окружающей среды, а это означает, что пользователи осознают, что находятся в реальном мире, который развивается благодаря компьютерному зрению. Для AR может использоваться определенный диапазон данных (изображения, анимация, видео, 3D-модели), и люди будут видеть результат как в естественном, так и в синтетическом свете.

Чтобы лучше понять, что такое дополненная реальность, давайте заглянем в ее технологию и посмотрим, как она работает.

Как работает AR

В большинстве приложений дополненной реальности пользователь видит оба мира, то есть синтетический и естественный свет одновременно. Проще говоря, это достигается путем наложения проецируемых изображений поверх пары прозрачных защитных очков или очков, которые позволяют изображениям и интерактивным виртуальным объектам накладываться поверх видимого пользователем реального мира. AR может отображаться на различных устройствах, включая экраны, очки, карманные устройства, мобильные телефоны и дисплеи на голове. В будущем, с развитием AR, устройствам потребуется меньше оборудования, и они начнут применяться для таких вещей, как контактные линзы и виртуальные дисплеи сетчатки.

Ключевые подходы к технологиям дополненной реальности

В зависимости от технологий, таких как SLAM (одновременная локализация и картографирование), отслеживание глубины (данные датчика, вычисляющие расстояние до объектов) или NFT (отслеживание естественных особенностей), чтобы упомянуть несколько, мы можем говорить из трех основных подходов к дополненной реальности:

1. На основе SLAM:

SLAM (одновременная локализация и отображение) считается наиболее эффективным способом визуализации виртуальных изображений поверх реальных объектов. Он одновременно локализует датчики относительно их окружения и отображает структуру окружающей среды. Система SLAM - это, по сути, не конкретный алгоритм или программное обеспечение, а скорее набор алгоритмов, направленных на решение одновременной задачи локализации и отображения.

2. На основе признания:

Подход, основанный на распознавании (или маркере), использует камеру для идентификации визуальных маркеров или объектов, таких как QR / 2D-код или маркеры отслеживания естественных функций (NFT), для демонстрации наложения только тогда, когда маркер обнаружен устройством. После распознавания маркер заменяется на экране виртуальной трехмерной версией соответствующего объекта. Устройство может рассчитать не только изображение маркера, но и его положение и ориентацию. Следовательно, поворот маркера также повернёт виртуальную репликацию. Таким образом, пользователь может наблюдать объект более подробно и под разными углами.

3. На основе местоположения:

Подход, основанный на местоположении, основан на использовании GPS, цифрового компаса, измерителей скорости или акселерометров для предоставления данных о местоположении. Визуализации дополненной реальности активируются на основе этих входных данных. Благодаря тому, что смартфоны оснащены функциями определения местоположения, этот тип технологии дополненной реальности становится довольно популярным для повседневного использования. Некоторые распространенные применения AR на основе местоположения включают отображение направлений, поиск ближайших сервисов и аналогичные мобильные приложения.

Ключевые компоненты устройств дополненной реальности

Для эффективной работы устройства дополненной реальности должны иметь следующие компоненты:

Камеры и датчики

И камеры, и датчики обычно находятся снаружи устройства дополненной реальности. Датчики используются для сбора реальных взаимодействий пользователя для дальнейшей обработки и интерпретации. Камеры на устройствах визуально сканируют окружающую среду, чтобы устройство обнаруживало физические объекты и создавало трехмерные модели. Это могут быть камеры специального назначения, такие как камеры определения глубины в Microsoft Hololens, которые работают в тандеме с двумя «камерами, распознающими окружающую среду» на каждой стороне устройства. Тем не менее, многие устройства с дополненной реальностью используют обычные камеры смартфонов для съемки фотографий, видео и иногда более конкретной информации, чтобы помочь с увеличением.

Обработка

Устройства AR действуют в основном как мини-суперкомпьютеры, упакованные в крошечные носимые устройства, что мы видим на современных смартфонах. Точно так же им требуется ЦП, графический процессор, флэш-память, ОЗУ, микрочип Bluetooth / WiFi, GPS и т. Д., Чтобы иметь возможность измерять скорость, угол, направление, ориентацию в пространстве и т. Д. Некоторые передовые устройства AR могут дополнительно использовать акселерометр для измерения скорости движений головы пользователя, гироскоп для измерения наклона и ориентации головы или магнитометр для определения направления головы для дополнительного погружения.

Проекция

Вы можете легко написать книгу о проекции в дополненной реальности, но в коротком посте давайте остановимся только на одном аспекте или, скорее, на единице: миниатюрный проектор, который часто находится в носимых гарнитурах дополненной реальности в положении вперед и наружу. . Он принимает данные с датчиков и проецирует полученный цифровой контент на поверхность для просмотра. Проектор может превратить любую поверхность в интерактивную среду, будь то запястье, стена или другой человек. Проекторы со временем заменят экраны: в будущем вам не понадобится планшет, чтобы играть в шахматы онлайн; перед вами виртуальная столешница. Однако использование проекций в AR еще не полностью изобретено для использования в коммерческих продуктах или услугах, так что это будущее еще впереди.

Отражение

Некоторые устройства дополненной реальности имеют зеркала, помогающие человеческому глазу просматривать виртуальные изображения. Кроме того, некоторые устройства могут иметь «набор маленьких изогнутых зеркал», а другие могут быть оснащены двусторонним зеркалом, одна поверхность которого отражает падающий свет на боковую камеру, а другая - свет от бокового дисплея на камеру. глаз пользователя. Цель всех таких путей отражения - обеспечить правильное выравнивание изображения по отношению к глазу пользователя.

Ключевые комплекты для разработки программного обеспечения

Популярность приложений AR привела к созданию инструментов для разработчиков. В настоящее время разработчики, планирующие заняться AR, могут выбирать из большого количества наборов для разработки программного обеспечения (SDK). Некоторые из них относятся к конкретному устройству, другие нацелены на конкретные приложения, а некоторые из них имеют полностью открытый исходный код. Эта тема настолько обширна и увлекательна, что мы поговорим о разработке приложений AR в отдельном посте, а пока давайте взглянем на некоторые из лучших SDK для дополненной реальности:

Wikitude

Поддерживаемые платформы: Android, iOS, Windows для планшетов, умные очки (Epson Moverio, Vuzix M100, ODG R-7).

Поддерживаемые платформы разработки : собственный API, JavaScript API, Unity3D, Xamarin, Titanium, Cordova.

Wikitude предлагает распознавание изображений, распознавание объектов, трехмерное отслеживание без маркеров, поддержку ARKit и ARCore, распознавание сцен, мгновенные дополнения с возможностью сохранения и публикации и предварительный просмотр Unity в реальном времени.

Вуфория

Поддерживаемые платформы: Android, iOS, UWP и Unity Editor.

Vuforia - одна из самых популярных платформ, предоставляющая API для C ++, Java, Objective C ++ и .Net. Он поддерживает устройства iOS, Android и Tango, а также приложения AR на базе Unity. Его ключевые функции включают распознавание различных типов визуальных объектов, распознавание текста и окружающей среды, VuMark (комбинацию изображения и QR-кода) и сканер объектов Vuforia, который позволяет сканировать и создавать объекты-мишени.

ARKit

Поддерживаемые платформы : iOS 11/12.

ARKit поддерживает обнаружение и отслеживание двухмерных изображений, что означает возможность встраивать объекты в дополненную реальность. Это позволяет разрабатывать приложения, которые распознают пространства и 3D-объекты, а также размещают виртуальные объекты на поверхностях. ARKit работает со сторонними графическими движками, включая популярные Unity и Unreal Engine.

ARCore

Поддерживаемые платформы: Android 7.0 и выше, iOS 11 и выше.

Ответ Google на ARKit: ARCore предлагает 3 основные возможности для объединения виртуального и реального миров: отслеживание движения, понимание окружающей среды, что означает определение размера / местоположения горизонтальных, вертикальных и наклонных поверхностей, а также оценку освещенности.

ARToolKit

Поддерживаемые платформы: Android, iOS, Linux, Windows, Mac OS и Smart Glasses.

ARtoolKit - это библиотека отслеживания с открытым исходным кодом для дополненной реальности. ARtoolKit реализует следующие функции: однокамерная или стереокамера слежения за положением / ориентацией камеры; отслеживание простых черных квадратов, отслеживание плоских изображений, калибровка камеры и калибровка оптического стерео. Что важно в ARToolKit, так это то, что он полностью бесплатный и с открытым исходным кодом, и в то же время достаточно быстрый для приложений AR в реальном времени.

EasyAR

Поддерживаемые платформы: Android, iOS, UWP, Windows, Mac и редактор Unity.

Другая бесплатная библиотека, EasyAR, является бесплатной и простой в использовании альтернативой Vuforia, которая поддерживает распознавание 3D-объектов, восприятие окружающей среды и распознавание облаков. Тот факт, что регистрация в сервисе предоставляет немедленный доступ к библиотеке бесплатных инструментов AR, включая сканирование QR-кода, воспроизведение видео, поддержку Unity и отслеживание плоских изображений, делает его ценным инструментом для разработчиков, которые хотят попробовать свои силы в приложениях AR.

Мы надеемся, что благодаря этому обзору вы получите представление об основных концепциях дополненной реальности и даже попробуете себя в разработке приложений AR. В каких сферах может применяться AR - об этом мы поговорим в следующем посте.