Apple хочет, чтобы дополненная реальность была записываемой и содержала разумные аннотации для последующих зрителей.

Наряду со всей работой Apple над Apple AR и «Apple Glass», касающейся живых выступлений, компания хочет, чтобы пользователи могли записывать, редактировать и позже просматривать AR — вместе с автоматически созданными дополнениями.

«Регистратор реальности, сгенерированный компьютером», является первым, и он касается множества проблем, связанных с захватом 360-градусного опыта AR / VR. Существует не только огромное количество данных, которые нужно записать от одного человека, носящего гарнитуру, но также существует проблема, связанная с тем, что в этом могут участвовать несколько человек.

Apple не решает все эти проблемы в этой патентной заявке, но это действительно помогает, потому что на самом деле речь идет о записи очень конкретных частей опыта AR. Речь идет об определении того, какие части интересуют пользователя, а затем их фиксации.

«Предметная технология идентифицирует, по крайней мере частично, на основе, по крайней мере, одного из предпочтений пользователя или обнаруженного события, интересующую область или интересующий объект при записи контента», — говорит Apple. «Основываясь, по крайней мере, частично на идентифицированной области интереса или объекте интереса, предметная технология генерирует модифицированную версию записи контента».

Приведенные примеры в основном относятся к спорту, поэтому пользователь, например, может быть особенно заинтересован в том, чтобы следить за одним игроком. Что бы ни делали другие игроки, и что бы пользователь ни выбирал для просмотра в данный момент, система может фиксировать только то, что делает этот игрок.

Тогда запись может автоматически содержать больше информации, добавляемой в сцену.

LR сцена AR, объекты идентифицированы, затем объекты аннотированы

«В результате электронная информация кажется частью физической среды, которую воспринимает пользователь», — продолжает Apple. «[Plus it could include] пользовательский интерфейс для взаимодействия с электронной информацией, которая накладывается в улучшенной физической среде «.

Это похоже на предыдущее исследование Apple, в котором «Apple Glass» или другое устройство могло отображать сравнительную информацию для покупателей. Поднимите два предмета, и Apple AR покажет соответствующую информацию о них обоих.

Все дело в успешном смешивании виртуальных объектов или информации с реальностью — а затем их записи для последующего воспроизведения. «[Play back feature] компьютерная среда реальности, включающая двухмерное (2D) видео для совместного использования и воспроизведения », — говорит Apple.

В качестве альтернативы, запись «впоследствии генерирует трехмерное (3D) представление, объединяющее информацию со всех датчиков и / или объединяющее запись с записями других пользователей (например, с разными точками обзора (POV) и / или разными полями обзора (FOV). ) », — продолжает патентная заявка.

Способность определять точки интереса и интерпретировать реальность, чтобы знать, где отображать информацию, означает осознание близости, положения и расстояния. Как только система может эффективно выделить любой заданный объект в сцене, она также может изменить этот объект.

Скрытие чувствительных объектов в записи AR

Вторая недавно обнаруженная патентная заявка, касающаяся записи AR, касается изменения объектов в сцене, когда они в некотором роде чувствительны. «Предоставление ограничений в компьютерных записях реальности» аналогично предыдущему исследованию, в котором видео могло автоматически размывать логотипы или другие элементы в прямых видеоконференциях.

Это было связано с объектами в 2D-пространстве, где эта новая заявка на патент предназначена для реальных или виртуальных 3D-объектов в AR или VR.

Согласно Apple, это предложение включает «анализ записи контента в поле зрения устройства» и распознавание «набора объектов, включенных в контент».

«Предметная технология идентифицирует подмножество набора объектов, которые указаны как соответствующие защищенному контенту», — продолжает патентная заявка. Нет никаких дискуссий о том, что представляет собой защищенный контент, потому что это не техническое решение, это редакционное решение.

Идентифицированные объекты можно отредактировать или размыть

Кто бы ни решил, что что-то является «защищенным контентом», система может идентифицировать объекты и что-то с ними делать. «Предметная технология генерирует модифицированную версию записи, которая затемняет или фильтрует подмножество набора объектов», — говорит Apple.

Другими словами, он накладывает размытие на объект или редактирует его, предположительно по желанию пользователя.

Это снова применяется во время прямой трансляции AR, но в заявке на патент также указывается, что «измененная версия записи» позже отправляется в «ведущее приложение для воспроизведения».

Эти два патента принадлежат двум одним и тем же изобретателям, Ранджиту Десаи и Манели Ноорками. Второй патент также принадлежит Джоэлю Н. Керру.

Работа Десаи до прихода в Apple в 2016 году включает патент для Philips на систему поиска изображений, которая может идентифицировать объекты и людей с помощью цветовых гистограмм.