Носители Apple AR могут отслеживать взгляд, изменять разрешение для удобочитаемости и энергосбережения

Множество направлений исследований Apple сосредоточено на способности носимых AR-устройств, таких как, по слухам, «Apple Glass», ощущать то, на что вы смотрите, и реконфигурировать себя, чтобы контекстуально представлять информацию, которая нужна владельцу.

Широкий спектр планов Apple в отношении «Apple Glass» и всей работы Apple AR были раскрыты с помощью нескольких патентных заявок. Созданные отдельно, они все еще объединяются, чтобы дать общую картину Apple, работающей над аспектами того, как люди смогут взаимодействовать с реальными и виртуальными устройствами.

Обнаружение реальной окружающей среды

Четыре патентные заявки в целом касаются обнаружения и работы с реальной и виртуальной средой вокруг пользователя. «Презентация приложения на основе среды» предлагает метод интерпретации того, что камеры видят в реальном мире как основу для своего рода карты.

«[Using this] определяется геометрическое расположение физической среды, — говорит приложение. — На основе типа физической среды отображается один или несколько объектов виртуальной реальности, соответствующих представлению физической среды ».

Таким образом, когда физическая структура среды установлена, система может точно позиционировать виртуальные объекты.

«У некоторых пользователей головных устройств наблюдаются такие дефекты зрения, как близорукость, гиперметропия, астигматизм или пресбиопия», — говорится в этом заявлении. «Может быть непросто убедиться, что оптическая система в головном устройстве отображает компьютерный контент удовлетворительно и обеспечивает приемлемый опыт просмотра для пользователей с дефектами зрения».

«Если не позаботиться, — продолжает он, — пользователю, имеющему визуальные дефекты, может быть трудно или невозможно правильно сконцентрировать внимание на отображаемом контенте, иначе контент может не отображаться должным образом».

Деталь из патента, показывающая регулируемую конструкцию гарнитуры

Предложения Apple вращаются вокруг специфики, связанной с «головными устройствами [that] может включать в себя оптические системы с линзами. «Приложение говорит, что»[these] линзы позволяют дисплеям на устройствах представлять визуальный контент пользователям. »

Foveation Imaging в «Apple Glass»

Более конкретные аспекты гарнитуры рассматриваются в приложении «Head-Mounting Device with Active Optical Foveation». Вместо того, чтобы рассматривать линзы, через которые принимаются изображения, это концентрируется на отображении этих изображений способами, которые наилучшим образом приносят пользу пользователю.

В наушниках, которые имеют «прозрачный дисплей, позволяющий пользователю наблюдать объекты реального мира», а также виртуальные, они могут использовать камеры для передачи реальности этой физической среды. Этот вид «сквозной камеры» может разумно изменять свои собственные настройки, чтобы соответствовать тому, на что смотрят.

«Сквозная камера может захватывать некоторые данные изображения высокого разрешения для отображения на дисплее», — говорится в этом заявлении. «Однако для отображения изображений с низким разрешением на периферии поля зрения пользователя на дисплее могут потребоваться только данные изображения с низким разрешением».

Таким образом, гарнитура может изменять разрешение того, что она показывает пользователю, в зависимости от того, на что они смотрят. Преимущество этого заключается в том, что для обработки требуется меньше данных, что повышает производительность и, как следствие, срок службы батареи.

Предполагаемое отображение, как называется это изменение разрешения, зависит от способности знать, куда смотрит пользователь. Часть этого можно определить по физическому движению головы, но это не помогает системе узнать, на какие конкретные части дисплея смотрят.

Отслеживание взгляда в AR и с помощью «Apple Glass»

«Используя систему слежения за взглядом в устройстве, монтируемом на голове, — предлагает Apple, — устройство может определять, какая часть экрана просматривается непосредственно пользователем».

Последняя из четырех новых связанных патентных заявок посвящена этой проблеме отслеживания взгляда, но касается работы самих устройств. «Взаимодействие с пользователем на основе взгляда» описывает методы, с помощью которых «пользователь использует свои глаза для взаимодействия с объектами пользовательского интерфейса, отображаемыми на электронном устройстве».

Фрагмент из заявки на патент, показывающий реальную среду, отображаемую для позиционирования виртуальных объектов.

Таким образом, устройства могут «обеспечить более естественный и эффективный интерфейс». Помимо того, что пользователь может выбирать объекты или предметы, глядя на них, эти методы предлагают возможность интерпретировать все от одного взгляда до пристального взгляда Паддингтона.

В приложении описаны проблемы, связанные с трудностями, вызванными «неопределенностью и нестабильностью положения глаз пользователя».

Каждое из четырех приложений представляет собой разработки и усовершенствования в областях, которые Apple преследует в течение многих лет, и в отношении множества других патентов. Помимо понимания областей, которыми занимается фирма, они также являются примером того, как Apple получает выгоду от использования аппаратного и программного обеспечения.