С ARKit 4 Apple создает основу для виртуального мира анимированной, интерактивной трехмерной «реальности», доступной любому, у кого есть новый iPhone в кармане.
На WWDC20 Apple рассказала о новых футуристических возможностях, которые появятся в ARKit 4. Предыдущие выпуски платформы дополненной реальности компании впервые позволили базовой трехмерной графике выглядеть зафиксированной в видеопотоке с камеры iOS 11 с использованием визуальной инерционной одометрии. Это позволяет пользователю исследовать виртуальный объект со всех сторон или играть в интерактивную игру, зафиксированную через AR, на поверхность стола.
ARKit 2 в iOS 12 2018 года представил общие AR-миры, где два пользователя могли видеть разные виды одной и той же виртуальной сцены, обеспечивая многопользовательский игровой процесс в приложениях дополненной реальности. В прошлых годах в ARKit 3 был представлен захват движения и окклюзия людей, что позволяло виртуальным объектам перемещаться впереди и сзади людей, одновременно понимая, как человека размещают перед камерой.
Инвестиции Apple в коллекцию AR и связанных с ними технологий используют компьютерное зрение, машинное обучение и обнаружение движения для создания все более сложных, интерактивных миров компьютерной графики, закрепленных на месте обзора камеры. За последние несколько лет он оказался гораздо более успешным и результативным, чем конкурентные попытки продать смартфон VR.
Расположение якоря
ARKit 4 в недавно анонсированной iOS 14 добавляет привязки местоположения, которые могут фиксировать модель AR в определенном месте в реальном мире, определяемом широтой, долготой и высотой. Это можно использовать для представления виртуальных иллюстраций, как Apple продемонстрировала установку KAWS, расположенную в Ferry Building в Сан-Франциско. Его также можно использовать для позиционирования меток, которые зафиксированы в пространстве в определенном месте, или для создания всего опыта AR в данном месте.
Чтобы обеспечить большую точность привязки местоположения, чем может обеспечить GPS, Apple продемонстрировала ARKit 4 с использованием визуального местоположения, которое использует машинное обучение для сопоставления ориентиров, видимых камерой, с картой локализации, загруженной из Apple Maps, соответствующей текущему местоположению. Похоже, что это данные, собранные транспортными средствами Apple Maps для создания исследовательских карт Look Around Maps в крупных городах.
Apple # WWDC20 в презентации # ARKit4 случайно упоминает, что у Apple Maps есть карта локализации, которая может точно позиционировать ваш iPhone с помощью камеры и машинного обучения. https://t.co/dM7flEOBR6
— Даниэль Эран Дилгер (@DanielEran) 25 июня 2020 г.
Процесс сопоставления местоположений выполняется локально на вашем телефоне, и личная информация не отправляется обратно на серверы Apple. Это впечатляющее пересечение технологий может в дальнейшем сочетаться с другими функциями, которые Apple подробно описывала на WWDC20, включая App Clips для обеспечения мгновенной функциональности, включая оплату с помощью Apple Pay или вход пользователя в систему с помощью «Войти в Apple».
Будущие приложения этих технологий предлагают очевидные варианты использования для носимых AR, в том числе, по слухам, «Apple Glass», которое может перемещаться по интересующим точкам и позволяет пользователю взаимодействовать с привязанными событиями AR, чтобы находить больше информации или обрабатывать различные сложные транзакции приложений.
Глубина API и LiDAR
В дополнение к привязке опыта AR к фиксированной точке реального мира, ARKit 4 теперь также предоставляет расширенные возможности понимания сцены с новым API глубины. Это позволяет ему использовать сканер LiDAR на новейшем iPad Pro, который, по слухам, появится на будущей модели iPhone 12, для быстрого сбора подробной информации о глубине окружающей среды.
Вместо того, чтобы сначала сканировать сцену с помощью камеры, LiDAR обеспечивает немедленное размещение виртуальных объектов в режиме AR, например, в игре, которая взаимодействует с реальными объектами в комнате.
Новый API Scene Geometry может создавать топологическую карту окружающей среды, которую можно использовать вместе с семантической классификацией для идентификации физических объектов и различения пола, стен и других объектов, а также для понимания глубины объектов в сцене и того, как они организованы.
ARKit 4 может затем размещать виртуальные объекты в сцене перед или позади окклюдированных людей или идентифицированных объектов в сцене; использовать игровую физику для симуляции реалистичных взаимодействий между виртуальными и физическими объектами; и реалистично освещать, используя лучевое вещание, чтобы размыть грань между тем, что реально, и цифровым контентом, усиливающим реальность.
Отслеживание лица и рук
Третье значительное усовершенствование в ARKit 4 расширяет отслеживание лица за пределы устройств, оснащенных камерой TrueDepth, до нового iPhone SE и других продуктов, по крайней мере, с процессором A12 Bionic.
Функция отслеживания лица фиксирует привязки и геометрию лица, позволяя применять графику к лицу пользователя, либо для создания аватара, похожего на Memoji, который захватывает выражения пользователя для анимации виртуального персонажа, либо для применения виртуального грима или других световых эффектов, похожих на портретное освещение. в камере iOS.
Apple также добавила отслеживание рук в свою инфраструктуру Vision, позволяя устройству iOS распознавать не только движения всего тела, но и отдельные позы пальцев руки. Одна демонстрация показала, как пользователь может произносить слова в воздухе, просто наблюдая за камерой и идентифицируя точные движения рук.
Инструменты реальности для создания опыта AR
Apple также предоставляет новое приложение Reality Converter для переноса 3D-моделей, разработанных с помощью внешнего инструмента создания цифрового контента, в формат файлов usdz, используемый ARKit, а также обновление для Reality Composer для создания и тестирования AR-событий и их экспорта в портативный usdz.
RealityKit также добавляет поддержку для применения видео-текстуры в сцене ARKit, такой как виртуальное телевидение, установленное на стене, в комплекте с атрибутами реалистичности, такими как излучение света, альфа и шероховатость текстуры.
Работа, которую Apple выполняет в AR, перекрывает работу, начатую другими, в частности, Google. Но одна вещь, существенно поддерживающая усилия Apple в AR, — это обширная база высококлассных, сложных устройств со структурными датчиками, такими как TrueDepth на iPhone X и более поздних версиях, и новый датчик LiDAR на новых iPad Pro.
Apple запустила ARKit три года назад и сразу стала крупнейшей в мире платформой AR, что означает, что у разработчиков есть множество возможностей для создания опыта, который может испытать большое количество реальных пользователей. Компания все еще только начинает, и мы можем ожидать, что она будет все больше внедрять новые технологии, которые расширяют возможности ARKit в новых направлениях, возможно, включая носимые очки и лобовые стекла транспортных средств, в дополнение к его текущей установленной базе портативных мобильных устройств на iOS и iPadOS.
