Apple исследует трекпад и комбинацию жестов для управления AR

Четыре изображения вверху предназначены для отображения в AR, а устройство в стиле трекпада внизу - физическое, которым пользователь может управлять

Вместо того, чтобы пытаться манипулировать объектами AR через перчатки или игровой контроллер, периферийное устройство, такое как трекпад, может позволить пользователям выбирать и манипулировать тем, что они видят перед собой.

Четыре изображения вверху предназначены для отображения в AR, а устройство в стиле трекпада внизу - физическое, которым пользователь может управлять
Четыре изображения вверху предназначены для отображения в AR, а устройство в стиле трекпада внизу — физическое, которым пользователь может управлять

Наряду с такими гарнитурами, как Apple Glasses, которые позволяют пользователям видеть дополненную реальность, существует необходимость взаимодействовать и манипулировать виртуальными объектами. Это часто делается тем, что пользователю приходится надевать перчатки, но Apple рассматривает возможность создания физической поверхности, способной обнаруживать прикосновения. Он рассматривает большой трекпад для управления компьютерными средами (CGR) через ARKit.

«Среды CGR — это среды, в которых некоторые объекты, отображаемые для просмотра пользователем, генерируются компьютером», — говорит Apple в патенте США № 20200104025, который называется «Удаленное обнаружение касания, включаемое периферийным устройством».

«Пользователь может взаимодействовать с этими виртуальными объектами, активируя аппаратные кнопки или касаясь сенсорного оборудования», — продолжает он. «Однако такие методы взаимодействия с виртуальными объектами могут быть громоздкими и не интуитивно понятными для пользователя».

Предлагаемые компанией Apple решения включают в себя различные «методы для дистанционного обнаружения касания с использованием системы из нескольких устройств», но один из них является «периферийным устройством, которое размещается на физической поверхности, такой как верх стола».

Хотя гарнитура показывает пользователю составное изображение реального мира вокруг него, включая это устройство в стиле трекпада, она также может отображать виртуальные объекты. Как и в случае с трекпадом и экраном на MacBook Pro, пользователь может смотреть на виртуальный объект, пока его пальцы выполняют сенсорные движения на трекпаде.

Камера в гарнитуре может обнаружить трекпад и в сочетании с сенсорной поверхностью этого устройства вычислить, какими виртуальными объектами пытается манипулировать пользователь.

Рисунки в патенте показывают, что пользователь выбирает из множества изображений, нажав на соответствующую часть панели. Они показывают пользователю вращающиеся объекты или изменяющие их размеры, используя знакомые жесты и движения.

Большая часть патента описывает способы регистрации касаний и отображения составного AR и реального изображения. Часть последнего предлагает использовать голограммы, проецируемые на поверхности.

Ключ к патентной заявке, тем не менее, заключается в том, как использование устройства, подобного трекпаду, может изменяться в зависимости от представляемых изображений AR и от того, где находится устройство по отношению к пользователю. Комбинация трекпада и гарнитуры, работающих вместе, означает, что пользователю может быть предложено изменить положение периферийного сенсорного устройства.

«Для оптимальной работы периферийное устройство может запросить дополнительное пространство рядом или вокруг себя так, чтобы на датчике (-ах) камеры не было препятствий (например, препятствий)», — говорится в нем. Сообщение об ошибке может отображаться в гарнитуре и сбрасываться пользователем, перемещая трекпад в лучшее положение.

Верхнее сообщение является ошибкой, отображаемой на AR-гарнитуре пользователя, и сбрасывается пользователем, перемещая устройство, подобное трекпаду, в лучшее положение.
Верхнее сообщение является ошибкой, отображаемой на AR-гарнитуре пользователя, и сбрасывается пользователем, перемещая устройство, подобное трекпаду, в лучшее положение.

Это, в основном, означает, что камера находится в поле зрения гарнитуры и не закрыта другими предметами, но также может быть такой же конкретной, как требование поворота устройства определенным образом.

«В некоторых вариантах осуществления набор условий работы включает в себя требование, чтобы периферийное устройство находилось в подходящей ориентации (например, поверхность периферийного устройства приблизительно параллельна относительно земли, является горизонтальной, вертикальной и т. Д.)». это заканчивается.

Патент зачислен четырем изобретателям, Сэмюэлю Л. Иглесиасу, Девину В. Чалмерсу, Риту Сетхи и Леджин Вану. Последний недавно был зачислен на аналогичный патент относительно точной обработки реальных и виртуальных объектов, в то время как Чалмерс включен в список о том, что цифровые помощники направляют пользователей через AR и VR.

Соцсети