Apple Glass может ускорить AR, отображая только то, что находится в поле зрения пользователя

Анализ того, на что смотрит пользователь, может помочь Apple Glass или гарнитуре дополненной реальности улучшить производительность при обработке видео за счет использования взгляда для определения приоритетности элементов изображения с камеры для анализа.

Системы дополненной реальности полагаются на сбор данных об окружающей среде, чтобы лучше предоставить пользователю изображение смешанной реальности. Для большинства людей это в основном сводится к тому, чтобы взять прямую трансляцию с камеры рядом с глазом пользователя, обработать ее в цифровом виде и затем показать пользователю в измененном состоянии, хотя это также может охватывать другие типы данных, такие как отображение глубины.

Во многих системах виртуальной и дополненной реальности, использующих гарнитуру, привязанную к главному компьютеру, необходимость ввода данных об окружающей среде может вызвать проблему, так как вы можете передавать только определенное количество данных за раз. Улучшения камер с годами, включая более высокое разрешение и частоту кадров, означают, что есть еще больше данных, которые нужно анализировать и обрабатывать, и, возможно, слишком много для обработки этой привязью.

Также следует учитывать ресурсы обработки, поскольку чем больше данных, тем больше обработки может потребоваться для создания изображения AR.

В патенте, выданном Управлением по патентам и товарным знакам США во вторник под названием «Адаптивная предварительная фильтрация видеоданных на основе направления взгляда», Apple пытается бороться с проблемой входящего трафика, сужая количество видеоданных, которые необходимо обработать, до основных обработка происходит.

Короче говоря, в патенте говорится, что гарнитура может снимать изображение окружающей среды и применять к сцене некоторые фильтры, каждый из которых покрывает разные области видеокадра. Эти фильтры, которые определяют данные, которые передаются на хост для обработки, позиционируются на основе взгляда пользователя, а также типичных точек данных AR и VR, таких как положение и движение головы.

Слои отфильтрованных данных отправляются на хост, будь то привязка или беспроводная связь, которые затем обрабатываются и отправляются обратно в гарнитуру для отображения. Затем цикл повторяется.

Логика этого заключается в том, что не все данные, которые собирает камера, обязательно нужны для обработки того, что на самом деле видит пользователь. Хотя пользователь может смотреть в определенном направлении, его глаза могут быть направлены в одну сторону, что делает рендеринг контента на другой стороне его обзора практически бессмысленным.

Система Apple требует обнаружения взгляда, а затем применения этой точки данных к кадру данных изображения. Множественные подмножества данных могут определять различные формы и размеры изображения, которым может быть назначен приоритет, с частями, которые пользователь активно просматривает под основным подмножеством, в то время как более крупная вторичная версия покрывает окружающую область.

Меньшему и основному подмножеству будет дан приоритет обработки, так как пользователь активно просматривает его. Вторичное более широкое подмножество может потребовать меньше обработки из-за того, что оно находится на периферии пользователя, и поэтому оно менее важно. Эти вторичные данные также могут не передаваться на хост с полным качеством, поскольку они не так важны, как поднабор данных приоритета.

При рендеринге конечного изображения для пользователя к данным могут быть применены дополнительные фильтры, чтобы эффективно объединить их вместе, насколько это возможно, ненавязчиво. По сути, система размывает границы между первичным высококачественным подмножеством и периферийным подмножеством более низкого качества, а также остальной частью потока камеры, которую она накладывает в приложении AR.

Центр взгляда пользователя будет отрисован полностью, с более низким качеством отрисовки дальше.

Идентификация подмножества не обязательно должна быть сгенерирована за один раз. Apple предполагает, что первичное подмножество может быть создано после того, как первый кадр визуальных данных будет сгенерирован камерами, но области вторичного подмножества могут быть определены во время создания второго кадра.

Кроме того, данные обнаружения взгляда, связанные со вторым кадром, могут информировать области вторичного подмножества в первом кадре для обработки. Это было бы полезно в случаях, когда глаза пользователя движутся, так как это могло бы смягчить любые нежелательные эффекты изменения точки обзора для пользователя и для системы, которая должна догнать и разместить данные в их поле зрения.

В патенте указаны его изобретатели: Кан Джин, Николас Пьер, Мари Фредерик Боннье и Хао Пан. Первоначально она была подана 19 июля 2018 г.

Apple подает множество патентных заявок еженедельно, но, хотя наличие такой заявки указывает на области, представляющие интерес для исследований и разработок Apple, они не гарантируют их использование в будущих продуктах или услугах.

Ходят слухи, что Apple работает над той или иной формой гарнитуры AR или VR в течение нескольких лет, при этом большая часть недавних спекуляций связана с так называемым «Apple Glass». Предполагается, что он потенциально может принять форму гарнитуры AR и, возможно, умных очков позже, слухи намекают, что она может принять форму очков, которые по размеру аналогичны обычным очкам.

Естественно, Apple подала много патентных заявок, относящихся к этой области, но одна, которая очень похожа по основной концепции, — это концепция «Foveated Display» от июня 2019 года. В этой заявке Apple предположила, что может быть способ улучшить обработку и производительность рендеринга дисплея гарнитуры за счет ограничения объема обрабатываемых данных.

Вместо того, чтобы ограничивать данные, поступающие на хост-устройство, регистрация сводится к передаче данных на дисплей. Подобно подмножествам данных, Apple предлагает два разных потока данных, которые могут использоваться дисплеем, состоящие из изображений с высоким и низким разрешением.

Используя обнаружение взгляда, система помещает только изображения с высоким разрешением туда, где смотрит пользователь, а затем данные с более низким разрешением для окружающих областей. Благодаря этому на самом дисплее будет меньше данных, с которыми он должен иметь дело при обновлении каждого обновления, что может позволить использовать более высокие частоты обновления.