Apple стремится к безупречному изображению в очках AR и гарнитуре VR

Подробно из одного из множества патентов, касающихся использования дисплеев с головным креплением

От оптимизации изображений и репликации физических контроллеров в виртуальной или дополненной реальности до обеспечения идеального звука — все это в последней опубликованной работе Apple, включающей в себя, по слухам, головной дисплей или очки AR.

Подробно из одного из множества патентов, касающихся использования дисплеев с головным креплением
Подробно из одного из множества патентов, касающихся использования дисплеев с головным креплением

Apple не скрывала, что у нее есть планы относительно Виртуальной реальности и Дополненной реальности, но серия из пяти новых патентных заявок показывает, насколько подробными стали эти планы. Патенты, которые подаются отдельно и каждый зачисляется различным командам изобретателей, охватывают все, от того, что вы видите, когда носите надетый на голову дисплей, — до того, что вы видите, когда вас нет.

Три из пяти в основном связаны с тем, чтобы изображение, представленное пользователю, было четким и четким, с равномерным освещением и достаточной яркостью. Каждый из них также обеспокоен тем, как это может быть выполнено в рамках ограничений, устанавливаемых на головном дисплее.

Отображение изображений AR или VR с высоким разрешением

«Waveguided Display Systems», Патент США № 20200089014, в частности, описывает способ получения высококачественных изображений без использования наголовного дисплея с тяжелым оборудованием.

«Электронные устройства с дисплеями могут использоваться для отображения контента для пользователя», — объясняет он. «Если не позаботиться, компоненты, используемые при отображении контента для пользователя в электронном устройстве, могут быть непривлекательными и громоздкими и могут не демонстрировать желаемые уровни оптических характеристик».

VR обходит это, разделяя проектор, который создает изображение, и объектив, который видит пользователь. Для системы дополненной реальности это изображение сочетается с изображением реального мира, на которое смотрит пользователь. Маршрутизация изображения AR и объединение его с реальным изображением опирается на оптическую систему, называемую волноводом. Apple планирует внедрить «структуры светоделителя», чтобы поддерживать разные уровни освещенности от AR и реальность.

«Электронное устройство может иметь дисплей, который излучает свет изображения, волновод и входной ответвитель, который направляет свет изображения в волновод», — продолжает патент. «Структуры светоделителя могут воспроизводить лучи по двум измерениям (например, поперек боковой области волновода). Таким образом, в окуляре может быть обеспечен свет с равномерной интенсивностью от дисплея по всей его области и для широкого поля зрения «.

Этот волноводный патент зачислен десяти изобретателям, в том числе Гуолину Пенгу, Эрику Дж. Хансотту и еще четырем, которые также делят кредит на предыдущем патенте «Оптические системы для дисплеев».

Чтобы избежать громоздких окуляров, дисплеи на головке VR могут использовать зеркала для отражения изображений. (Показано здесь: очки Magic Leap One Lightwear AR.)
Чтобы избежать громоздких окуляров, дисплеи на головке VR могут использовать зеркала для отражения изображений. (Показано здесь: очки Magic Leap One Lightwear AR.)

Далее, отдельная патентная заявка «Scanning Display Systems», патент США № 20200088994, также касается изображения, которое видит пользователь, но конкретно его яркости и разрешения.

«Сложно создать систему проецирования и отображения с достаточной оптической яркостью, разрешением экрана и компактностью для масштабируемого использования», — говорится в этом патенте, в котором также отмечается, что дисплеи с головным креплением должны быть надежными. «Необходимо уделить дополнительное внимание рассмотрению пользовательских случаев, которые включают ударную нагрузку и тепловые нагрузки».

Зеркала могут быть повреждены при неправильном использовании гарнитуры, но в некоторых системах они могут деформироваться при обычной работе. Описанные системы используют сканирующие или вращающиеся зеркала, и существуют проблемы с размером зеркал и скоростью вращения.

«В общем, — продолжает патент, — желательно обеспечить сканирующие зеркала в оптической системе как можно большей отражающей области (например, диаметром 1,2-2,0 мм), чтобы максимизировать разрешение изображения в области дальнего поля. «.

«Однако сканирование зеркал на высоких скоростях может вызвать физическую деформацию в зеркале (особенно для относительно больших зеркал), которая служит для расхождения света изображения и, таким образом, ограничивает разрешение изображения в дальнем поле», — продолжает он.

Предлагаемая здесь система вместо этого будет использовать «массив шахматных светоизлучающих элементов, расположенных в диагональных рядах и выровненных вертикальных столбцах». Цель состоит в том, чтобы предоставить оптические системы, которые могут «преодолеть эти трудности, чтобы обеспечить изображения с высоким разрешением (низкой расходимостью) при высокой частоте кадров, в то же время позволяя оптической системе соответствовать ограниченному форм-фактору [a headset]«.

Смешивание реальных объектов с VR

Наряду с отображением изображения AR вместе с любым реальным представлением, которое имеет пользователь, дисплеям с головным креплением необходимо, чтобы пользователь мог видеть внешние объекты и манипулировать ими. Если они наблюдают за пространством полностью виртуальной реальности, пользователи не могут видеть устройства, такие как контроллеры, которые они могут даже держать.

Loading...

«Отслеживание и исправление дрейфа», патент США № 20200089313 изобретателя Мохамеда Селима бена Химане, призван помочь в этом.

Пара умных очков Vuzix Blade
Пара умных очков Vuzix Blade

«[Existing] «системы не могут адекватно отслеживать местоположения таких отдельных устройств относительно устройств, предоставляющих контент», — говорится в этом патенте, — и, следовательно, не могут отображать такие отдельные устройства или их представления для руководства взаимодействиями пользователей ».

«Например, пользователь, носящий устройство на головном устройстве (HMD), представляет CGR [Computer Generated Reality] среда должна была бы увидеть представление его [or her] «Мобильный телефон в среде CGR, чтобы использовать сенсорный экран мобильного телефона в качестве устройства ввода», — продолжает он. «Однако, не имея возможности точно, последовательно и эффективно отслеживать относительное местоположение мобильного телефона по отношению к HMD представление мобильного телефона не может быть отображено в местоположениях в среде CGR, соответствующих местоположениям реального мира «.

В предложенной Apple системе телефон в реальном мире будет точно отслеживаться, чтобы виртуальная версия отображалась в правильном месте. «Когда пользователь фактически касается виртуальной кнопки на виртуальном пульте дистанционного управления, пользователь фактически касается соответствующей части сенсорного экрана второго устройства, которая распознается как ввод, который управляет или иным образом инициирует взаимодействие с виртуальной средой».

Проблемы со звуком

Каждый из этих патентов подробно описывает методы и приложения, но не все из них касаются исключительно изображений, отображаемых пользователю. «Устройства отображения с мультимодальным звуком», патент США № 20200089008, концентрируется на том, что слышит пользователь.

Наряду с дисплеями на ближнем глазу, которые представляют изображения, дисплей на головном устройстве будет иметь наушники, которые можно отрегулировать в соответствии с типом воспроизводимого звука.

«Гибкость в работе со звуком часто желательна, поскольку она позволяет использовать систему в различных условиях или в разных условиях», — говорится в патенте, который присуждается пяти изобретателям. К ним относятся Роберт Д. Сильфваст, Кристофер Т. Юбанк и Нил Д. Эванс, которые недавно были внесены в список изобретателей в патенте на съемные наушники на «Apple Glasses».

Apple хочет, чтобы вы слышали шары для боулинга так же, как вы их видите.
Apple хочет, чтобы вы слышали шары для боулинга так же, как вы их видите.

«Например, в контексте виртуальной реальности (VR) может быть желательно более захватывающее звучание (например, для блокирования или устранения внешнего шума), тогда как в контексте дополненной реальности (AR) или смешанной реальности (MR) внешний шум может иметь меньшее значение », — говорится в сообщении.

Головные дисплеи, которые не носят на голове

Возможно, самым неожиданным из пяти патентов является «Электронное устройство с внутренним дисплеем и внешне доступным устройством ввода-вывода», патент США № 20200088999, Пол Х. Ван. Это примерно то, что происходит с дисплеем на голове, когда его не надевают на голову.

Идея состоит в том, что пользователь может снять такую ​​гарнитуру и при этом иметь возможность использовать ее каким-либо образом.

«В некоторых ситуациях, — говорит патент, — пользователю может быть непросто взаимодействовать с электронным устройством, таким как электронное устройство, монтируемое на голове. Однако, когда электронное устройство, устанавливаемое на голову, не надевается, пользователь не может просматривать контент на дисплее, что ограничивает возможности пользователя взаимодействовать с устройством и связанным с ним оборудованием ».

Вместо того, чтобы проецировать изображение на окуляры на головном дисплее, система может проецировать его «на близлежащие поверхности». Например, Apple предполагает, что это может предоставить пользователю способ управления устройством.

«Изображения могут содержать виртуальную клавиатуру, с которой пользователь может взаимодействовать», — говорится в нем.

Apple изучает, как дисплей AR / VR с головным экраном будет выглядеть и звучать при ношении на голове, а также как его можно использовать, когда его нет. Тогда эти пять новых патентных заявок являются обширными, но они являются только последними из серии, которая насчитывает более десяти лет.

Соцсети