Apple разрабатывает систему, которая может создавать среды смешанной реальности или виртуальной реальности из плоского видеоконтента, позволяя пользователям просматривать и просматривать клипы, которые в противном случае были бы только двухмерными.
Пользователи могут принять участие в опыте SR на устройстве, будь то портативное устройство, такое как iPhone или iPad, или устройство с креплением на голову, такое как, по слухам, «Apple Glass». Они могли взаимодействовать с настройкой SR через одно или несколько органов чувств, включая зрение, вкус, запах и осязание.
Однако основная часть патента сосредоточена на системе, которая может генерировать символы, объекты и окружение SR из плоского видеоконтента. Другими словами, он может превратить телешоу в среду виртуальной реальности, которую пользователь сможет исследовать с помощью вышеупомянутых устройств.
«Пользователь может пожелать воспринимать видеоконтент (например, сериал или фильм), как если бы он / она находился в сцене с персонажами. Другими словами, пользователь желает просматривать видеоконтент как опыт SR, а не просто просмотр видеоконтента на телевизоре или другом устройстве отображения », — говорится в патенте.
Кредит: Apple
Как отмечает Apple, большая часть контента SR «кропотливо создается» заранее и добавляется в библиотеку, из которой пользователь может выбирать. Однако в патенте описан метод создания SR-реконструкций видеоконтента по запросу путем «использования цифровых активов» для «плавного и быстрого» переноса плоского контента в SR-опыт.
Система работает, идентифицируя «создателя сюжета» в сцене, синтезируя описание сцены и генерируя реконструкцию сцены, «управляя первым цифровым активом, связанным с первым создателем сюжета, в соответствии с описанием сцены для сцены. »
Как указывает Apple, цифровые активы могут соответствовать модели видеоигры для «исполнителей сюжета», которые она определяет как персонажей или актеров в видеоконтенте.
Хотя система может генерировать реконструкцию SR на основе видеоконтента, она также может извлекать информацию из связанного текстового содержимого и внешних данных. Это могут быть фотографии актеров в видеоклипах, рост и размеры актеров, различные виды сцены и другие данные.
«В некоторых реализациях цифровые активы генерируются« на лету », по крайней мере частично, на основе видеоконтента и внешних данных, связанных с видеоконтентом. В некоторых реализациях внешние данные, связанные с видеоконтентом, соответствуют изображениям актеров. , высота и другие измерения актеров, различные виды (например, план, вид сбоку, перспектива и т. д.) наборов и объектов и / или тому подобное », — говорится в патенте.
Интересно, что Apple также отмечает, что аналогичная система генерации SR может создавать интерактивные сцены на основе аудио и связанного с ним контента, включая аудиокниги, радиопостановки и другой аудио-контент.
В нескольких частях патента также подробно описывается различие между объектами действия — или объектами, с которыми взаимодействует персонаж — и бездействующими. Это различие может позволить системе SR знать заранее, какие типы объектов в сцене должны быть интерактивными.
В патенте в качестве изобретателей указаны Ян М. Рихтер, Даниэль Ульбрихт, Жан-Даниэль Э. Нахмиас, Омар Элафифи и Питер Мейер. Из них Майер работал над патентом AR, охватывающим движущиеся объекты в режиме реального времени, а Рихтер был назван изобретателем системы на голове, которая могла бы распознавать движения головы.
Apple регистрирует множество патентов еженедельно, и нет никакой гарантии, что описанная в них технология когда-либо выйдет на рынок. Точно так же в патентных заявках не указывается, когда Apple может выпустить новый продукт с этой технологией.
