Формат иммерсивного видео Apple: Технология, презентация

Объектив «рыбий глаз» на iPhone

Подход Apple к иммерсивному видео для Apple Vision Pro — это отход от типичных проекций «рыбий глаз», включающий интересный поворот для гарнитуры с высоким разрешением.

Гарнитуры, обеспечивающие возможности виртуальной и дополненной реальности, часто также предлагают пользователям захватывающее видео. Это может быть как пространственное видео, обеспечивающее 3D-эффект, так и видео на 360 градусов, которое окружает зрителя контентом.

Apple также выпустила иммерсивные видеоклипы, а именно 180-градусное 3D-видео в высоком разрешении, хотя в настоящее время она относительно медленно расширяет свою библиотеку контента.

Для создания этих видеороликов часто используются камеры с объективом «рыбий глаз», позволяющие снимать чрезвычайно широкоугольные снимки, при этом несколько видеороликов объединяются в одно видео.

Apple Vision Pro, естественно, имеет возможность просматривать контент «рыбий глаз». Однако, хотя он и используется для потоковой передачи видео Apple TV+, этот формат практически не документирован и не используется третьими сторонами.

В исследовании Майка Суонсона, опубликованном в воскресенье, иммерсивная видеопроекция Apple для пользователей использует подход, отличный от более традиционного форматирования «рыбий глаз».

Различные искажения

Перевести изображение из 2D-видео в полусферическую или сферическую карту проекции, которую может видеть пользователь, находящийся в центре, непросто, но эта проблема практически решена благодаря искажениям.

Типичный снимок «рыбий глаз» с углом обзора 180 градусов, охватывающий все в кадре, будет выглядеть как круг, с черными участками в углах и краях круга, обозначающими области, где визуальные данные отсутствуют.

Сегментировав видео определенным образом, его можно растянуть, чтобы оно соответствовало полю зрения пользователя на 180 градусов, как по горизонтали, так и по вертикали в виртуальной сфере. Это самый простой способ создания проекции, но он неэффективен в отношении данных, поскольку угловые участки являются частью закодированного видео, но фактически не используются в конечном изображении.

Существует альтернатива, исключающая черные секции, в виде равнопрямоугольной проекции на 180 градусов. Созданный путем редактирования, он искажает изображение, чтобы заполнить всю прямоугольную рамку.

При искажении для просмотра это означает, что для краев карты проекции используется больше пикселей, а это означает, что пользователи действительно могут видеть больше деталей.

Чтобы создать стереоскопическое видео для каждого из них или видео с обзором на 360 градусов, каждое поле обзора на 180 градусов часто сжимается до половины доступного пространства, что позволяет включить обе стороны в один кадр.

В этом сценарии, который затрудняет сохранение деталей в каждом обзоре на 180 градусов, имеет смысл деформировать изображение по углам, чтобы исключить лишние пиксели.

Эффекты искажения реальности

Свонсону изначально было трудно определить, что Apple изменила в своей обработке проекции «рыбий глаз», но он смог получить некоторые подробности о том, что было выполнено, из мониторинга сетевого трафика его Apple Vision Pro.

Только в ходе мониторинга он обнаружил, что потоки имеют скорость примерно 50 Мбит/с, закодированы в HDR10, с разрешением 4320 на 4320 на глаз, со скоростью 90 кадров в секунду. Однако, поскольку иммерсивные видео были защищены DRM, Суонсон не мог просматривать необработанные кадры «рыбий глаз», не нарушая их.

Затем его предупредили о вступительном ролике логотипа Apple TV+, в котором использовалась та же кодировка «рыбий глаз», но без DRM. Это позволило провести дальнейший анализ формата «рыбий глаз» Apple.

Во-первых, вместо того, чтобы использовать один видеокадр для обработки двух глаз или проекции на 180 градусов вперед и назад, Apple вместо этого кодирует стереовидео с использованием MV-HEVC. Фактически каждая 180-градусная проекция сохраняется в отдельном видеослое видеофайла.

Примеры стандартной проекции «рыбий глаз», равноугольной проекции и обработки «рыбий глаз» Apple. [Mike Swanson]

Еще более необычно то, что Apple кодирует контент типа «рыбий глаз» с поворотом на 45 градусов. Основание «сферы» расположено в левом нижнем углу кадра, а верхняя точка — в противоположном углу.

Суонсон говорит, что это изменение имеет смысл, и одна из веских причин заключается в том, что диагональ является самым длинным измерением кадра и, следовательно, может хранить больше горизонтальных пикселей после поворота, чем не повернутая версия.

Для зрителей преимуществом является то, что линия горизонта будет иметь наибольшее количество доступных пикселей. Поскольку именно сюда будет смотреть большинство людей во время просмотра видео, сохранение деталей в этом разделе имеет решающее значение для впечатлений от просмотра.

Области с наименьшим количеством пикселей для работы в проекции смещаются от середины сверху, снизу и по бокам обычного «рыбиго глаза» к «угловым» участкам, которые, возможно, менее просматриваются.

Еще немного загадок

Несмотря на дополнительную информацию, Суонсон не разгадал весь процесс Apple, а некоторые элементы все еще ускользают от него.

Один из них основан на методе под названием «Радиальное растяжение», при котором каждый градус изображения растягивается до края квадратного кадра, максимально используя для изображения весь кадр.

Хотя Свонсон и подошел близко к этому при обработке необработанного кадра «рыбий глаз» Apple, это «не на 100% правильно». Предполагается, что вдоль диагоналей будут задействованы некоторые дополнительные логические элементы, чтобы уменьшить необходимое количество радиального растяжения и искажений, причем лучшим предположением Свонсона является использование простых скошенных углов.

Также предполагается, что Apple потенциально может кодировать определенную геометрию, чтобы добавить ненужную сложность, что затруднит использование того же формата другими.

У Свонсона до сих пор остаются вопросы о том, почему Apple использует этот тип проекционного формата. Хотя Apple может обнаружить, что у этого есть больше преимуществ, они все еще остаются загадкой.

Кодирование видео для Apple Vision Pro — лишь одна из задач, с которыми сталкиваются кинематографисты. В марте руководители Canon объяснили, что ни одна из ее камер не способна снимать видео с тем разрешением и частотой обновления, которые необходимы гарнитуре.

Если Apple собирается подробно рассказать о том, как она обращается с видео в этом формате, она может сделать это во время WWDC 2024 в июне.