Сенсорные экраны становятся непрактичными, когда этот экран находится рядом с вашим глазом в чем-то вроде «Apple Glass», поэтому Apple изучает, как вы можете управлять виртуальными элементами управления в реальном мире.
Недавно опубликованная патентная заявка показала, что Apple предлагает способ использования Apple AR для отображения информации о том, что может показаться кому-либо, кроме владельца, в виде пустого экрана. Теперь в отдельном приложении он рассматривает возможность отображения любой поверхности для пользователей Apple Glass в виде панели управления с кнопками и дисплеем.
«Способ и устройство для обнаружения прикосновения между первым объектом и вторым объектом», поданные в 2016 году, но только на этой неделе раскрыты, указывают на то, что такой способ представления элементов управления, наложенных на объекты реального мира, будет необходим.
«Естественный способ взаимодействия людей с (реальными) объектами — прикоснуться к ним руками», — говорится в нем. «[Screens] которые позволяют обнаруживать и локализовать касания на их поверхности, обычно называют сенсорными экранами и в настоящее время являются обычной частью, например, смартфонов и планшетных компьютеров ».
«[However, a] Современная тенденция такова, что дисплеи для AR становятся меньше и / или перемещаются ближе к сетчатке глаза пользователя, — продолжает он. — Это, например, случай с дисплеями, устанавливаемыми на голове, и делает использование сенсорных экранов затруднительным или даже невозможным «.
Тогда ваш «Apple Glass» может показывать вам информацию, но вы не сможете ничего с ней поделать, если не снимите очки и не ткните линзу пальцем. Так как AR уже отображает виртуальные объекты в реальный мир вокруг вас, его можно расширить, чтобы он выглядел так, как будто есть кнопки и элементы управления, удобно расположенные там, где вы можете коснуться или коснуться их.
В этом случае ваши глаза увидят виртуальный объект, потому что «Apple Glass» показывает его вам, но ваши пальцы могут касаться того, что действительно находится в этом месте в реальном мире. Если AR может определить, что вы нажали кнопку, которая, по вашему мнению, является кнопкой, она может отреагировать так, как будто вы действительно нажали на элемент управления.
К сожалению, это сложнее, чем кажется. Идея экрана конфиденциальности Apple может работать потому, что реальный объект — это что-то вроде iPad. Даже если этот iPad на самом деле ничего не показывает на экране, он может распознать, где вы касаетесь.
Новое предложение Apple предполагает распознавание таких ударов или касаний на любой поверхности. И делать это, не заставляя пользователя носить датчики кончиков пальцев или использовать окклюзию.
«Наиболее распространенным подходом является физическое оснащение объекта или человеческого тела (например, кончика пальца) датчиком, способным воспринимать прикосновение», — говорится в заявлении. Но это не впечатлило то или электрические версии, которые делают тело частью схемы: «Ограничение таких подходов состоит в том, что они требуют модификаций объекта или человеческого тела».
Деталь из патента, показывающая, как плоский квадратный объект можно превратить в калькулятор
При окклюзии камера может смотреть, где пальцы пользователя касаются. Особенно в AR, это вполне может сработать, потому что система отобразит всю среду и будет знать, что, например, под пальцами пользователя есть поверхность стола.
Следовательно, он может отображать кнопки на эту поверхность. Тем не менее, патентная заявка фактически указывает на то, что они должны быть довольно большими кнопками. Проблема убийцы, по словам известного изобретателя патентной заявки Apple Даниэля Курца, заключается в том, что окклюзия не может быть точно точной.
«С виртуальными кнопками невозможно вызвать кнопку, например, № 5 из массива смежных кнопок на цифровой клавиатуре, без нажатия какой-либо другой кнопки раньше, — утверждает он, — потому что кнопка № 5 не может быть достигнута без перекрывая любую из окружающих кнопок «.
Вы можете обойти это, имея еще большие кнопки или, возможно, меньшее их количество, но даже тогда такие системы действительно обнаруживают окклюзию. Они обнаруживают, прошел ли палец перед «кнопкой», а не была ли эта кнопка нажата.
Предлагаемое Apple решение — это тепло. «Если два объекта при разных температурах соприкасаются, — говорится в заявлении, — область, к которой они соприкасаются, изменит свою температуру, а затем медленно приблизится к исходной температуре, как до прикосновения».
«Поэтому для пикселей, соответствующих точке в среде, где недавно произошло касание, — продолжает он, — обнаруживается медленное, но отчетливо измеримое снижение или повышение температуры».
Поэтому, чем бы ни касался ваш палец, будет происходить передача тепла. Это крошечный, но это определенно есть. «Плавные изменения температуры могут указывать на прикосновение между двумя объектами, которое недавно произошло в выбранном месте», — говорится в патенте.
В приложении обсуждаются различные методы обнаружения тепловых изменений, например, с помощью тепловидения, но в основном речь идет о точности, которая может быть достигнута.
«Он может отличить прикосновения или окклюзии, вызванные человеческим телом (что произошло преднамеренно), от прикосновений или окклюзий, вызванных чем-то еще (это может произойти случайно)», — говорится в нем. «Он способен точно локализовать касание и может идентифицировать события касания после того, как они произошли (то есть, даже если на момент касания не было камеры, компьютера или чего-либо еще»).
Последнее зависит от того, выполняется ли обнаружение довольно быстро после касания, но, например, может случиться так, что пользователь коснется поверхности, и тепловизионное изображение произойдет, когда он уберет палец. Приложение включает в себя пример фотографии, показывающей недавнее касание пальцем по поверхности.
Наряду с соответствующей идеей отображения данных исключительно для владельца Apple Glass, это все часть широкомасштабной работы Apple над AR. Это показывает, что компания смотрит глубоко — и в течение долгого времени, так как эта патентная заявка была подана четыре года назад — в практическое применение дополненной реальности, а не только на визуальную сторону.
Среди многих связанных патентов Apple в области AR есть еще один, автор того же Даниэля Курца, который занимается точной обработкой реальных и виртуальных объектов вместе.
