Apple хочет заменить фон Apple Glass в стиле Zoom

article thumbnail

В будущих «Apple Glass» или других подобных гарнитурах Apple можно будет заменить фон любым изображением, выбранным пользователем.

Apple изучает, как заставить гарнитуру в стиле «Apple Glass» выполнять хроматический кеинг или замену однотонного фона изображениями Apple AR. В большинстве случаев цель состоит в том, чтобы эту обработку выполняла гарнитура, чтобы результат был достаточно быстрым, чтобы задержки не усугубляли укачивание.

«Цветная манипуляция с низкой задержкой, встроенная в налобный дисплей для смешанной реальности» – это патентная заявка в США, поданная в феврале 2020 года, но раскрытая только на этой неделе. С момента подачи этой заявки мы все испытали блокировку коронавируса и сопутствующий ему взрыв в области видеоконференцсвязи.

Следовательно, мы все теперь знакомы с идеей замены фона наших офисов и домов другими изображениями, такими как логотипы или пляжные сцены. Нам также известно, как редко они работают хорошо, особенно если говорящий перемещается.

Отчасти это связано с тем, что такая замена фона требует значительной вычислительной мощности, даже если она не очень эффективна. До обновления в июле 2020 года Skype для iOS от Microsoft не мог даже размывать фон, как это делал Mac или ПК.

Такое размытие – сложный процесс, но в его состав входит определение того, где заканчивается голова человека и начинается его задний план. Хроматический ключ значительно упрощает эту задачу, поскольку человек находится перед сплошным однотонным фоном. Это тот же процесс зеленого или синего экрана, который используется в фильмах.

Когда совершенно очевидно, какая часть кадра видеоконференции является говорящим и каков его фон, такая система, как Zoom или Skype, может более легко заменить фон. Однако это 2D-системы, и Apple Glass стремится сделать это в 3D, чтобы фон можно было заменить, когда пользователь ходит, а не просто смотрит на плоский экран.

Слева: фигура стоит перед сплошной стеной. Справа: гарнитура заменяет фон

Слева: фигура стоит перед сплошной стеной. Справа: гарнитура заменяет фон

Таким образом, заявка Apple на патент одновременно направлена ​​на создание трехмерной стереоскопической версии замены фона для Apple AR и на то, чтобы заставить ее работать достаточно быстро. Отчасти это связано с вычислительной мощностью гарнитуры, но также связано со скоростью возврата данных в поле зрения пользователя.

“[What is needed is] переносной иммерсивный головной дисплей (HMD), выполняющий цветовую манипуляцию в реальном времени с использованием встроенных стереофонических RGB-камер для захвата окружающей среды, – говорится в приложении, – и систему отображения для отображения реальных изображений, дополненных виртуальным контентом ».

«Система работает с высокой частотой кадров (обычно 75 кадров в секунду или больше), – продолжает он, – и достигает задержки менее одного кадра, захватывая изображения и форматируя их для отображения на самом HMD».

Итак, в предложении Apple говорится, что в налобном дисплее есть «датчики камеры для выполнения цветовой манипуляции в контексте смешанной реальности», и делать это с минимальной задержкой или задержкой для пользователя. «Низкая задержка достигается за счет встраивания обработки в сам HMD, в частности, форматирования изображений с камеры, определения выбранного цветового диапазона и создания композиции с виртуальным контентом».

«Низкая задержка – ключевой элемент, необходимый для достижения полного погружения (часто называемого« присутствием »)», – продолжает приложение.

Деталь, показывающая пример вида гарнитуры до замены изображений

Деталь, показывающая пример вида гарнитуры до замены изображений

Это усложняет то, что такая система фактически должна создать два изображения. «Система обеспечивает смешанную реальность, позволяя пользователю смотреть на дисплей через широкоугольные линзы (FOV обычно составляет 110 ° или больше)», – говорится в сообщении. «Две камеры, расположенные за дисплеем HMD, снимают окружающую среду с точек обзора, расположенных в нескольких сантиметрах перед каждым глазом».

Приложение не решает вопрос о том, откуда берутся изображения для замены. В конференции Zoom или Skype это будет выбор выступающего, который предпочел выступить на другом фоне.

В случае с этим приложением нет подробностей о том, как динамик, стоящий перед владельцем «Apple Glass», мог бы указать, какое изображение заменит его синий или зеленый экран. Однако в патенте говорится, что практические приложения включают использование игр, видео и виртуальных объектов ».

Заявка присуждена семи изобретателям. В их число входит Винсент Чапделейн-Кутюр, чья предыдущая связанная работа включает патент на «омнистереоизображение». И Бертран Непвеу, который

“> единственный признанный изобретатель

о патенте на цифровую обработку видеосигнала.

Подробно показан пример вида гарнитуры после замены изображений

Подробно показан пример вида гарнитуры после замены изображений

Отдельно Apple ранее подавала заявки на патенты, в том числе один на автоматическое размытие фона или изображений переднего плана при видеоконференциях.

Соцсети