Линзы Apple Vision Pro
Apple Vision Pro и более поздние гарнитуры могут обеспечивать высокую частоту обновления экрана, предлагает Apple, используя «фовеатный дисплей» для оптимизации рендеринга, чтобы фокусироваться только там, где пользователь активно смотрит.
Одним из ключевых элементов гарнитуры виртуальной реальности или дополненной реальности, такой как Vision Pro, является использование дисплеев с высокой частотой обновления. Экраны, которые обновляются быстрее и позволяют быстрее реагировать на движения пользователя, могут свести к минимуму вероятность тошноты из-за отсутствия обновления экрана в соответствии с движениями, а также дальнейшей продажи иллюзии виртуальной среды или цифрового объекта, размещенного в мире.
Одна из проблем с развитием технологии, используемой для дисплеев гарнитур, заключается в том, что ожидается использование экранов с более высоким разрешением. Добавление большего количества пикселей на дисплей означает, что при каждом обновлении необходимо обновлять больше элементов, а также больше данных, которые необходимо создать главному устройству при рендеринге сцены.
В недавно выданном патенте заявка на «Foveated Display» направлена на решение этих проблем, предлагая два разных потока данных для использования дисплея, состоящих из изображений с высоким и низким разрешением.
Основная концепция фовеатного дисплея заключается в том, что на экране не обязательно использовать изображения высокого разрешения для всего экрана, а только то, на что смотрит пользователь. Если положение можно определить, дисплей может отображать ресурсоемкое изображение с более высоким разрешением в прямом представлении пользователя, а затем использовать облегченные данные с низким разрешением для остальной части экрана.
Схема, объясняющая, как обычно работает система дисплея при обновлениях.
Поскольку остальная часть дисплея будет использовать периферийное зрение пользователя, которое не требует детализации, это может значительно сократить объем работы, которую необходимо выполнять каждый раз, когда дисплей требует обновления.
В решении Apple система отслеживания взгляда используется для определения точки на экране, на которую направлен взгляд пользователя. Зная эти данные, графический процессор затем визуализирует изображение с высоким разрешением для части сцены, на которую смотрит пользователь, а также версию с низким разрешением для остальной части изображения.
Используя схему контроллера синхронизации и схему драйвера колонки, первый может передавать данные изображения второму, который затем реализует изменения на дисплее. Эта схема также используется для переключения между двумя буферами, предоставляющими данные с высоким разрешением и данные с низким разрешением, каждый из которых используется для соответствующих областей дисплея.
Использование схем интерполяции и фильтра можно использовать для изменения данных пикселей перед их применением, например, в областях, где данные с низким разрешением используются вместе с версией с высоким разрешением, чтобы выровнять любые видимые швы. К буферу данных низкого разрешения также можно применять двумерные пространственные фильтры.
Иллюстрация того, как различные разрешения могут быть собраны на дисплее, если пользователь смотрит в середину экрана.
Хотя патент был получен только сейчас, Apple подала заявку на этот патент 15 января 2021 года, задолго до анонса Vision Pro. Эта заявка была необычной, поскольку в документе говорится конкретно о гарнитурах, она не была одной из потенциально сотен патентных заявок Vision Pro, скрывающихся на виду.
Связанные с предыдущими заявками на последнее открытие включают в себя предыдущую «Прогнозирующую систему виртуальной реальности с фовеацией», в которой использовался аналогичный метод видеопотоков с разным разрешением и выборочный рендеринг для минимизации задержки для пользователя. Apple также исследовала различные системы отслеживания взгляда, в том числе некоторые с использованием «горячего зеркала», позволяющего компонентам находиться близко к лицу пользователя, а не дальше, что делает гарнитуру более удобной для ношения в течение длительного времени.
