Серия патентных заявок показывает, что Apple сосредоточена на том, как пользователи могут работать в дополненной реальности или виртуальной среде, а компания работает над практическими аспектами того, как сделать это пространство более реальным.
Может быть, сначала мы получим очки, а может, «Apple Glass» будет таким тонким и стильным, как мы надеемся. В конечном итоге, однако, Apple рассматривает Apple AR и VR не только для игр, которые мы видим в очках, или уведомлений, которые мы можем видеть в очках.
Вместо этого он сосредоточен на том, как пользователи могут выполнять работу в среде, частично или полностью созданной компьютером. Это включает в себя то, как мы можем использовать приложения, которые существуют только в нашем мире AR, а также то, как звук может помочь сделать всеохватывающим. И также смотрит на то, как мы смотрим вокруг, как мы можем ориентироваться, когда половина нашего обзора виртуальная, а половина — реальная.
Аудио в AR
Одно из недавно обнародованных патентных приложений, «3D-рендеринг звука с использованием объемного аудио-рендеринга и скриптового уровня детализации аудио», призвано помочь пользователям ощутить более естественную среду. Это достигается благодаря тому, как мы можем слышать звуки мира AR, и Apple также озабочена тем, как программисты могут улучшить и упростить использование звука.
«Компьютерные программисты используют инфраструктуру рендеринга 2D- и 3D-графики и анимации как удобные средства для быстрой разработки приложений…», — начинает Apple. «Одной из проблем таких графических структур является то, что графические программы, такие как игры, часто требуют звуковых функций, которые должны определяться в реальном времени на основе недетерминированных или случайных действий различных объектов в сцене».
Река не может быть представлена как единая звуковая точка
Так что в игре может быть взрыв, но если вы отводите взгляд от него, звук его должен появиться позади вас. «Включение звуковых функций в графическую структуру часто требует значительного времени и ресурсов для определения того, как звуковые функции должны изменяться при изменении объектов в сцене», — говорится в заявке на патент.
Apple говорит, что в настоящее время звуки привязаны к определенным точкам в окружающей среде, например к тому месту взрыва, где находится правильная графика. Но хотя это типично для AR, это не всегда идеально и всегда сложно.
«[It] обычно означает, что приложение должно генерировать точки для каждого из различных звуков, существующих в виртуальной звуковой среде, — говорит Apple. — Это сложный процесс, и текущие подходы, как правило, являются специальными ».
На рисунках в патентной заявке в качестве примера показано, как пользователь сталкивается с рекой AR. Для звуков воды не существует единой точки происхождения, это сплошная область, область в среде дополненной реальности.
Решение Apple состоит в том, чтобы «представить источник звука в трехмерной виртуальной звуковой среде как геометрический объем, а не как точку». В заявке на патент обсуждается множество методов и вопросов, связанных с заменой точки на общую область, но цель всегда состоит в том, чтобы создать эту более естественную звуковую среду.
Это также может быть что-то, что Apple AR как разновидность операционной системы AR могла бы предоставить вместо того, чтобы каждый разработчик создавал это.
«Это позволяет механизму визуализации звука, а не прикладной программе, использовать геометрический объем объекта для визуализации более реалистичной звуковой среды», — говорит Apple.
Направляя ваше внимание
Если в игре произошел взрыв, вы, скорее всего, посмотрите в его сторону, но это полностью зависит от вас. Однако, за исключением определенных движений или звуков, AR может представлять довольно неизменный вид.
Apple утверждает, что, просматривая любую систему дополненной реальности, вы можете увидеть «от полностью синтетического опыта до едва уловимого компьютерного медиа-контента, наложенного на реальные стимулы». У вас может быть целый мир в VR, или у вас может быть самый маленький знак «сюда», когда вы идете по реальной улице.
Система Apple может позволить приложению AR освещать то место, куда вы должны смотреть
Проблема, которую Apple хочет решить с помощью другой заявки на патент, заключается в том, как пользователь знает, где искать. Когда они окружены виртуальной реальностью или когда рядом с ними находится единственный объект AR, должен быть способ направить внимание пользователя, когда это необходимо.
«Направление внимания на оптических сквозных дисплеях» концентрируется на AR, где компьютерная реальность (CGR) того, что вы видите, представляет собой комбинацию реального мира и этого наложенного мультимедийного контента.
«[It] может быть желательно направить внимание пользователя в среде CGR на объект или область среды CGR », — говорит Apple.« Например, игра, выполняемая HMD [head-mounted display] представление среды CGR может направить внимание пользователя на цель игры ».
«В качестве другого примера картографическое приложение, выполняемое HMD, может пожелать направить внимание пользователя на пункт назначения карты», — продолжает он.
Интересно, что Apple также рассматривает, когда лучше всего предотвратить привлечение внимания пользователя к чему-либо. «[It] может быть желательно отвлечь внимание пользователя от объекта или области среды CGR, такой как реклама или неподходящий контекст ».
Какой бы ни была мотивация для привлечения внимания или его избегания, предложение Apple сводится к двум вариантам. Например, он может отображать «шум в областях среды CGR, куда не следует направлять внимание пользователя».
Или он может использовать то, что Apple описывает как маскировку. Если приложению требуется, чтобы пользователь посмотрел на горшок с дополненной реальностью на столе, это растение представляет собой графическое изображение, наложенное на реальность. Система внимания может добавить маскирующий элемент «позади» объекта, а затем, например, добавить к нему свечение.
Рабочие инструменты в AR
Один из элементов, который, скорее всего, будет присутствовать в среде AR и потребовать внимания пользователя, — это приложение, инструмент. AR может превратить любую поверхность в калькулятор, например, или экран.
Третья заявка на патент, недавно обнаруженная, называется просто «Отображение приложений», и она включает в себя приспособление инструмента дополненной реальности к среде, окружающей пользователя. «Эти методы включают определение положения физического объекта на физической поверхности, — говорит Apple».[and] отображение представления приложения в условиях смоделированной реальности «.
Как сделать реальные объекты инструментами AR
Это также включает в себя «изменение атрибутов представления приложения в ответ на обнаружение изменений положения физического объекта на физической поверхности», например, когда объект поднимается.
Это похоже на недавно опубликованную патентную заявку на превращение поверхностей в элементы управления AR. Это новое приложение также принадлежит Самуэлю Ли Иглесиасу, чья связанная работа включает использование трекпадов для управления объектами AR.
Планы Apple по AR
Как ранее отмечал AppleInsider, работа Apple с AR явно не ограничивается одним-единственным продуктом. Скорее, компания, похоже, фокусируется на том, чтобы сделать огромный сдвиг в том, как все мы используем наши устройства.
Возможно, все еще так и происходит, что дисплей на голове автоматически ассоциируется с играми, но Apple прилагает значительные усилия для создания технологии, с которой мы все действительно можем работать.
