Гарнитура дополненной реальности Apple или будущий iPhone могут использовать свет от дисплея для отслеживания движения практически любой поверхности, в то время как пальцевые устройства могут предоставлять системе подробную информацию о том, к каким объектам может прикасаться пользователь.
Ходят слухи, что Apple уже довольно давно работает над формой гарнитуры VR или AR, и различные отчеты и заявки на патенты указывают на то, что она может пойти в нескольких направлениях. В паре патентов, выданных Бюро по патентам и товарным знакам США во вторник, были раскрыты еще два способа функционирования системы.
Слежение за объектами AR на основе света
Одно из преимуществ AR-гарнитур — наличие камер в настройке. Обычно используется для получения изображения сцены и для распознавания объектов, одно и то же оборудование может использоваться для отслеживания объекта, наблюдая, как элемент меняет положение в реальном времени относительно положения гарнитуры.
Преимущества отслеживания объекта для AR обычно сводятся к возможности применять наложения цифровой графики к видеопотоку вокруг объекта. Это может включать в себя индикаторы состояния для конкретного приложения на контроллере, которые в противном случае не были бы видны, например, в реальном времени.
Однако ресурсы, необходимые для распознавания и отслеживания объектов, а также для определения ориентации, могут быть довольно тяжелыми для системы. В области, где для обеспечения оптимального взаимодействия требуется большой объем обработки, приветствуются любые методы сокращения использования ресурсов.
В патенте под названием «Контроллер AV / VR с камерой событий» Apple предлагает идею о том, что системе камеры необязательно нужно постоянно отслеживать все пиксели, относящиеся к отслеживаемому объекту, а вместо этого можно сократить количество значительно до минимума, когда нужны только беглые проверки.
На этом патентном изображении показано, что HMD может потребоваться для отслеживания удерживаемого пользователем вторичного устройства.
Apple предлагает, чтобы система выбирала определенные пиксели на изображении, которые относятся к отслеживаемому объекту, что, в свою очередь, обеспечивает показания для интенсивности света и других атрибутов. В случае, если камера или объект перемещается или меняет положение, интенсивность света для этих нескольких пикселей изменится сверх установленного предела, заставляя всю систему начать поиск того, как объект изменился, с использованием дополнительных ресурсов.
Учитывая, что система использует свет, вполне возможно, что вместо попытки обнаружить объект система могла бы просто искать те же самые световые точки. Если на объекте имеется множество световых точек, и система отслеживает только эти точки, она может использовать очень мало ресурсов для определения изменений положения и ориентации.
Хотя эти точки света могут легко быть отражениями окружающего освещения на ограждении объекта, похоже, Apple рассматривает возможность использования других источников света, генерируемых объектами, таких как светодиодные индикаторы или дисплей, показывающий узор. В последнем случае это обеспечило бы систему достаточным объемом данных о местоположении и ориентации, пока экран был виден.
Такие опорные точки на основе света не обязательно должны быть для видимого света, поскольку Apple предполагает, что схема освещения может включать в себя невидимые длины волн. Это предложит ненавязчивую систему, которую не заметят пользователи, и потенциально такую, которая могла бы незаметно использовать разные длины волн света, чтобы позволить системе работать с несколькими пользователями или объектами.
Учитывая, что он может использовать свет, не видимый людьми, Apple также может использовать другую технологию, с которой она уже знакома. LiDAR, используемый в камере TrueDepth и задней части линейки iPhone 12 Pro, включает в себя излучение небольших точек инфракрасного света, которые отражаются обратно на датчик изображения и используются для отображения глубины объектов.
Хотя сам объект не излучает собственный свет, отражения от световых точек будут эффективно решать ту же задачу, с дополнительным преимуществом, позволяющим отслеживать неэлектронные или биологические объекты, такие как руки пользователя.
В патенте указан его изобретатель Питер Мейер, он был подан 31 января 2019 года.
Выборка свойств объекта
Второй патент относится к сбору данных, в частности, о том, как система может получать информацию о том, к чему прикасается пользователь.
Обычно это визуальная и слуховая среда, дополненная реальность и виртуальная реальность могут получить выгоду от внедрения других элементов, чтобы продать пользователю иллюзию реальности цифровых объектов. Такая система должна знать, как воссоздать ощущения, которые пользователь может испытывать при прикосновении к реальному предмету, чтобы имитировать эффект с помощью инструментов тактильной обратной связи.
В патенте под названием «Компьютерные системы с пальцевыми устройствами для выборки атрибутов объектов» Apple предлагает использовать устройства с пальцами, которые используются двумя способами. Хотя их можно использовать для тактильной обратной связи с пользователем, более важным элементом патента является его способность обнаруживать характеристики реальных объектов, с которыми пользователь может контактировать.
Датчики в каждом из пальцевых устройств могут считывать эффекты поверхности реального объекта, к которому прикасается пользователь, например, контур поверхности, текстуры, цвета и узоры объекта, акустические атрибуты и вес. В сочетании с другими элементами, такими как камеры на налобном дисплее, система сможет собирать множество данных об объекте, которые затем может быть предложена пользователю.
Примеры того, как сенсорное устройство, закрепленное на пальце, может собирать данные
Эти датчики могут включать в себя тензодатчик, ультразвуковой датчик, датчики прямого контакта, термометры, датчики света, датчики дальности, акселерометры, гироскопы, компас и емкостные датчики, среди прочего.
Патент предполагает, что при ношении на кончике пальца пользователи все равно смогут испытывать ощущение прикосновения к объектам, поскольку подушечка пальца останется беспрепятственной. Датчики могут обнаруживать, входя в контакт в выступах, выходящих за пределы кончика пальца, или обнаруживая изменения в способе воздействия на палец пользователя при прикосновении к объекту.
Данные, собранные об объекте, затем могут быть скомпилированы и сохранены для последующего использования системой и потенциально могут использоваться как часть более широкой библиотеки данных. Затем эту информацию можно использовать с элементами тактильной обратной связи для имитации прикосновения к объекту пользователя или других пользователей.
В патенте указано имя его изобретателя Пол Х. Ван, он был подан 22 апреля 2019 года.
Предыдущие разработки
Apple подает множество патентных заявок еженедельно, но хотя наличие патентной заявки указывает на области, представляющие интерес для исследований и разработок Apple, они не гарантируют, что идеи появятся в будущих продуктах или услугах.
Распознавание и отслеживание объектов было важной частью Apple ARKit, набора инструментов для разработчиков, желающих добавить контент AR в свои приложения. Это уже распространяется на отслеживание зданий и других неподвижных неподвижных объектов, позволяя цифровым объектам казаться плавающими или установленными в поле зрения камеры.
ARKit также может выполнять захват движения, что влечет за собой определенный уровень отслеживания объектов, а также возможность для других в пределах мировоззрения перекрывать виртуальные объекты.
Устройства для ношения на пальцах ранее фигурировали в патентных заявках, таких как «Системы для изменения ощущений пальцев во время событий ввода нажатия пальцев» 2019 года. В рамках этой идеи устройство будет прикрепляться к концу пальца, но оставлять подушечку пальца открытой для элементов.
Устройство, предназначенное для создания тактильных ощущений при вводе текста на клавиатуре на основе дисплея, будет слегка сжимать стороны пальца, когда панель собирается соприкоснуться с дисплеем. Сжатие выдвигает подушечку для пальца в более возвышенное положение, увеличивая амортизацию, когда палец касается поверхности.
