ARKit 4 от Apple закрепляет трехмерную реальность в реальных местах на Картах

article thumbnail

С ARKit 4 Apple создает основу для виртуального мира анимированной, интерактивной трехмерной «реальности», доступной любому, у кого есть новый iPhone в кармане.

На WWDC20 Apple рассказала о новых футуристических возможностях, которые появятся в ARKit 4. Предыдущие выпуски платформы дополненной реальности компании впервые позволили базовой трехмерной графике выглядеть зафиксированной в видеопотоке с камеры iOS 11 с использованием визуальной инерционной одометрии. Это позволяет пользователю исследовать виртуальный объект со всех сторон или играть в интерактивную игру, зафиксированную через AR, на поверхность стола.

ARKit 2 в iOS 12 2018 года представил общие AR-миры, где два пользователя могли видеть разные виды одной и той же виртуальной сцены, обеспечивая многопользовательский игровой процесс в приложениях дополненной реальности. В прошлых годах в ARKit 3 был представлен захват движения и окклюзия людей, что позволяло виртуальным объектам перемещаться впереди и сзади людей, одновременно понимая, как человека размещают перед камерой.

Инвестиции Apple в коллекцию AR и связанных с ними технологий используют компьютерное зрение, машинное обучение и обнаружение движения для создания все более сложных, интерактивных миров компьютерной графики, закрепленных на месте обзора камеры. За последние несколько лет он оказался гораздо более успешным и результативным, чем конкурентные попытки продать смартфон VR.

Расположение якоря

ARKit 4 в недавно анонсированной iOS 14 добавляет привязки местоположения, которые могут фиксировать модель AR в определенном месте в реальном мире, определяемом широтой, долготой и высотой. Это можно использовать для представления виртуальных иллюстраций, как Apple продемонстрировала установку KAWS, расположенную в Ferry Building в Сан-Франциско. Его также можно использовать для позиционирования меток, которые зафиксированы в пространстве в определенном месте, или для создания всего опыта AR в данном месте.

Чтобы обеспечить большую точность привязки местоположения, чем может обеспечить GPS, Apple продемонстрировала ARKit 4 с использованием визуального местоположения, которое использует машинное обучение для сопоставления ориентиров, видимых камерой, с картой локализации, загруженной из Apple Maps, соответствующей текущему местоположению. Похоже, что это данные, собранные транспортными средствами Apple Maps для создания исследовательских карт Look Around Maps в крупных городах.

Процесс сопоставления местоположений выполняется локально на вашем телефоне, и личная информация не отправляется обратно на серверы Apple. Это впечатляющее пересечение технологий может в дальнейшем сочетаться с другими функциями, которые Apple подробно описывала на WWDC20, включая App Clips для обеспечения мгновенной функциональности, включая оплату с помощью Apple Pay или вход пользователя в систему с помощью «Войти в Apple».

Будущие приложения этих технологий предлагают очевидные варианты использования для носимых AR, в том числе, по слухам, «Apple Glass», которое может перемещаться по интересующим точкам и позволяет пользователю взаимодействовать с привязанными событиями AR, чтобы находить больше информации или обрабатывать различные сложные транзакции приложений.

Глубина API и LiDAR

В дополнение к привязке опыта AR к фиксированной точке реального мира, ARKit 4 теперь также предоставляет расширенные возможности понимания сцены с новым API глубины. Это позволяет ему использовать сканер LiDAR на новейшем iPad Pro, который, по слухам, появится на будущей модели iPhone 12, для быстрого сбора подробной информации о глубине окружающей среды.

Вместо того, чтобы сначала сканировать сцену с помощью камеры, LiDAR обеспечивает немедленное размещение виртуальных объектов в режиме AR, например, в игре, которая взаимодействует с реальными объектами в комнате.

Новый API Scene Geometry может создавать топологическую карту окружающей среды, которую можно использовать вместе с семантической классификацией для идентификации физических объектов и различения пола, стен и других объектов, а также для понимания глубины объектов в сцене и того, как они организованы.

ARKit 4 может затем размещать виртуальные объекты в сцене перед или позади окклюдированных людей или идентифицированных объектов в сцене; использовать игровую физику для симуляции реалистичных взаимодействий между виртуальными и физическими объектами; и реалистично освещать, используя лучевое вещание, чтобы размыть грань между тем, что реально, и цифровым контентом, усиливающим реальность.

Отслеживание лица и рук

Третье значительное усовершенствование в ARKit 4 расширяет отслеживание лица за пределы устройств, оснащенных камерой TrueDepth, до нового iPhone SE и других продуктов, по крайней мере, с процессором A12 Bionic.

Функция отслеживания лица фиксирует привязки и геометрию лица, позволяя применять графику к лицу пользователя, либо для создания аватара, похожего на Memoji, который захватывает выражения пользователя для анимации виртуального персонажа, либо для применения виртуального грима или других световых эффектов, похожих на портретное освещение. в камере iOS.

Apple также добавила отслеживание рук в свою инфраструктуру Vision, позволяя устройству iOS распознавать не только движения всего тела, но и отдельные позы пальцев руки. Одна демонстрация показала, как пользователь может произносить слова в воздухе, просто наблюдая за камерой и идентифицируя точные движения рук.

Захват руки каркаса видения

Инструменты реальности для создания опыта AR

Apple также предоставляет новое приложение Reality Converter для переноса 3D-моделей, разработанных с помощью внешнего инструмента создания цифрового контента, в формат файлов usdz, используемый ARKit, а также обновление для Reality Composer для создания и тестирования AR-событий и их экспорта в портативный usdz.

RealityKit также добавляет поддержку для применения видео-текстуры в сцене ARKit, такой как виртуальное телевидение, установленное на стене, в комплекте с атрибутами реалистичности, такими как излучение света, альфа и шероховатость текстуры.

Работа, которую Apple выполняет в AR, перекрывает работу, начатую другими, в частности, Google. Но одна вещь, существенно поддерживающая усилия Apple в AR, — это обширная база высококлассных, сложных устройств со структурными датчиками, такими как TrueDepth на iPhone X и более поздних версиях, и новый датчик LiDAR на новых iPad Pro.

Apple запустила ARKit три года назад и сразу стала крупнейшей в мире платформой AR, что означает, что у разработчиков есть множество возможностей для создания опыта, который может испытать большое количество реальных пользователей. Компания все еще только начинает, и мы можем ожидать, что она будет все больше внедрять новые технологии, которые расширяют возможности ARKit в новых направлениях, возможно, включая носимые очки и лобовые стекла транспортных средств, в дополнение к его текущей установленной базе портативных мобильных устройств на iOS и iPadOS.

Соцсети