Планы Apple в отношении дополненной реальности могут включать создание 3D-модели пальцев пользователя для взаимодействия с виртуальными сенсорными экранами, а использование инфракрасных оптических маркеров может упростить для систем дополненной реальности настройку того, что видно на экране iPhone или iPad.
Предполагается, что Apple работает над каким-то аппаратным обеспечением виртуальной или дополненной реальности, а также над умными очками Apple Glass AR. Хотя продукты еще не были выпущены, Apple положила начало обширным исследованиям и разработкам в этой области.
Однако, несмотря на то, что AR существует уже некоторое время, все еще существует ряд проблем и вопросов, которые необходимо решить, прежде чем она станет основной технологией.
В паре патентов, выданных Apple во вторник Управлением по патентам и товарным знакам США, Apple стремится улучшить AR в двух областях.
Маркеры устройства
Одним из преимуществ AR является показ пользователю виртуального дисплея практически в любом месте в пределах его поля зрения. Такие виртуальные дисплеи можно легко наложить на стены или физические предметы или даже оставить висеть в воздухе.
Использование гарнитуры AR может вызвать проблемы у пользователей, которые рассчитывают использовать свои смартфоны и планшеты одновременно, поскольку нет гарантии, что дисплей действительно будет доступен для просмотра из гарнитуры.
Также существует возможность того, что гарнитура AR использует преимущества наличия мобильного устройства в качестве метода взаимодействия для пользователей, потенциально заменяя то, что отображается на дисплее устройства, другой графикой или более легко видимой версией. Возможно даже, что дисплей будет полностью виден внутри гарнитуры AR с полностью выключенным экраном устройства, не затрагивая сенсорные возможности и другие функции.
В патенте под названием «Электронные устройства с оптическими маркерами» Apple считает, что может улучшить взаимодействие между смартфонами и гарнитурами AR, упростив для систем AR обнаружение смартфона поблизости. В патенте это просто означает добавление визуальных маркеров, которые может использовать гарнитура.
Идея состоит в том, что на внешней стороне устройства есть маркеры, которые могут быть прочитаны камерами и другими датчиками на гарнитуре AR. Увидев маркеры, это может позволить системе AR определить тип устройства, его ориентацию, расположение дисплея и другие факторы.
Эти маркеры могут предоставлять данные о местоположении вместе с другой информацией, такой как уникальный идентификатор, предоставляемой с помощью двухмерного штрих-кода, такого как QR-код. Этот уникальный идентификатор может быть даже использованием маркеров со «спектральным кодом отражения».
Хотя маркеры могут быть видны пользователю, Apple предполагает, что эти маркеры могут быть полностью невидимы для пользователей. Эти маркеры, потенциально образованные из фотолюминесцентных частиц в полимерном слое или со световозвращающим слоем с использованием прозрачных сфер, можно было сделать видимыми только через инфракрасный свет.
В патенте указаны его изобретатели: Кристофер Д. Перст, Марта М. Джачино, Мэтью С. Роджерс и Ку Ань С. Нгуен. Первоначально она была подана 27 сентября 2018 года.
3D моделирование пальцев
Возможность для системы AR отображать экраны на любой поверхности может быть полезна в большинстве случаев, но не обязательно там, где ожидается взаимодействие. Система дополненной реальности может предполагать, что виртуальный дисплей, прикрепленный к стене, будет работать как сенсорный экран, но поскольку на стене нет датчиков для обнаружения прикосновений, она не может обнаруживать прикосновения.
Можно было бы обнаружить прикосновение виртуального дисплея к стене с помощью перчатки или другого механизма ввода, но сделать это без перчатки — более сложная проблема.
Второй патент под названием «Создание трехмерной модели кончика пальца для визуального обнаружения касания» пытается решить эту проблему.
Судя по названию, патент вращается вокруг системы, создающей трехмерную модель пальца, пальца или руки пользователя. После того, как модель была сгенерирована, она может быть исследована системой, анализирующей данные датчика изображения, для обнаружения целенаправленных касаний виртуальных дисплеев.
Блок-схема, показывающая часть процесса обнаружения прикосновения к нечувствительной к прикосновению поверхности.
Считается, что модель можно создать, наблюдая за рукой пользователя, когда она касается реальной сенсорной поверхности. Используя несколько камер или датчиков изображения, палец или руку можно было зафиксировать под разными углами во время прикосновения к объекту.
Эти визуальные данные можно использовать для формирования трехмерной модели пальца в момент касания. Последующие прикосновения к сенсорной поверхности могут привести к созданию большего количества изображений, что может улучшить 3D-модель.
После создания модели система может использовать данные для обнаружения пальца или руки пользователя, включая случаи, когда они взаимодействуют с физической поверхностью, которая не чувствительна к прикосновениям, но используется для целей дополненной реальности.
Патент был изобретен Рохитом Сетхи и Леджинг Вангом и был подан 24 сентября 2019 года.
Это не первая попытка Apple решить проблему распознавания касаний.
В июле 2020 года появилась патентная заявка, в которой предлагалось использовать тепловизор для обнаружения мест на устройстве, к которым прикоснулся пользователь. Небольшие количества теплопередачи от пальцев пользователя могут быть уловлены датчиками и, в свою очередь, использованы для точного определения того места на поверхности, к которому прикоснулся пользователь.
Другие идеи в значительной степени вращались вокруг перчаток и контроллеров, в том числе от марта 2016 года, когда в портативном контроллере были элементы, которые простирались над пальцами для обнаружения движений пальцев, даже если пользователь касается поверхности.
