Как и в случае с 3D-моделями для ARKit, Apple разрабатывает новый аудиоформат, который упрощает размещение звуков вокруг пользователя, даже когда этот пользователь движется, при ношении «Apple Glass» или других устройств AR, возможно, на основе работа компании с Pixar.
Ранее было показано, что Apple работает над созданием видеоизображений с высоким разрешением для Apple AR, но теперь она также стремится производить высококачественный звук, чтобы сопровождать его. В паре новых патентных заявок компания изучает возможности использования пространственного звука.
В частности, Apple хочет создать аудиоформат, такой как .MP3 или .AAC, который станет стандартом и включает в себя дополнительную пространственную информацию, необходимую AR. Формат должен содержать фактический звук, но также гораздо больше, чем то, должен ли элемент воспроизводиться слева или справа от стереоизображения. Apple ранее работала с Pixar над форматом под названием USDZ, который был связан с размещением звука в трехмерном пространстве вокруг пользователя.
«Формат файла для пространственного звука» — это новая заявка на патент, в которой может быть задокументирована по крайней мере часть этой работы Pixar. Тем не менее, Apple ранее заявляла, что ее цель с USDZ — помочь в обмене данными между такими приложениями, как Сообщения, Новости и Почта.
«Создание трехмерных (3D) звуковых эффектов в приложениях дополненной реальности (AR), виртуальной реальности (VR) и смешанной реальности (MR) … является сложной задачей, поскольку существующие аудиоформаты изначально были разработаны для воспроизведения трехмерного звука в физической среде. с фиксированным расположением динамиков и стационарными слушателями, — говорит Apple в новом приложении, — например, в кинотеатре.
Apple называет AR, VR и MR общим термином Simulated Reality (SR) и заявляет, что хочет использовать многие существующие форматы для 3D-звука. «[For example] Пространственные аудиоформаты, предназначенные для создания 3D-звука, включают стандарты 3D Audio MPEG-H (Moving Picture Experts Group), методы пространственного звука HOA (Higher-Order Ambisonics) и технологию объемного звука DOLBY ATMOS », — продолжает он.
Оба вопроса связаны с тем, где аудитория воспринимает звук, и где создатели могут выбрать размещение эффектов или музыки. «Одна из альтернатив для создания трехмерных звуковых эффектов в среде SR — это манипулирование отдельными дискретными звуками, содержащимися в аудиообъектах, которые могут быть виртуально расположены в любом месте трехмерной среды», — говорит Apple.
«[However, composing] аудио для приложений SR, использующих существующие пространственные аудиоформаты и объекты, сложно, поскольку не существует единого способа доступа к разнообразным источникам звука и включения их в динамическую среду SR », — продолжает он.
Предлагаемое Apple решение — создать формат, аналогичный тому, как .m4v и .mp4 являются «контейнерными» форматами, которые группируют вместе различные элементы. В случае новых требований Apple к пространственному звуку компания предлагает создать «библиотеку аудиоресурсов … [which] включает метаданные ресурсов, которые позволяют разработчикам приложений моделирования реальности (SR) составлять звуки для использования в приложениях SR «.
«Аудиоресурсы отформатированы, — говорит Apple, — чтобы включать аудиоданные, кодирующие звук, который может быть скомпонован в приложении SR, вместе с метаданными ресурсов, описывающими не только то, как был закодирован звук, но и то, как слушатель в среде SR воспринимает звук.
Эта патентная заявка присуждена четырем изобретателям, двое из которых имеют связанные ранее патенты. Стивен Э. Пинто упоминается в патенте, касающемся пространственной аудионавигации, например, для «Apple Glass», в то время как Кристофер Т. Юбанк работал над планами создания изображений с высоким разрешением в устройствах Apple AR.
Оба изобретателя также входят в число тех, кому приписывают еще одно недавно открытое и
«> соответствующий патент
делать с «повышающим микшированием пространственного звука».
Деталь из патента, показывающая, как аудио можно объединить в 3D-формат
В обычном звуке музыка, которая может тихо воспроизводиться под выступлением ведущего, обычно называется кроватью. В предложении Apple этот термин используется для обозначения гораздо более сложной пространственной аудиосистемы.
«Пространственная кровать — это многоканальный аудиоконтент, который представляет полное описание звукового поля, например, виртуальную звуковую сферу, например, окружающую слушателя моделируемой реальности в среде моделируемой реальности», — говорится в нем. «Новая пространственная кровать создается путем объединения секций, по крайней мере, двух таких пространственных кроватей».
В то время как нынешние профессионалы в области звука будут осознавать левое и правое расположение инструментов или элементов, Apple вместо этого основывает идею размышления о сфере.
«Новый пространственный звуковой объект может содержать сферический массив виртуальных источников звука (виртуальную сферу), которые определяют звуковое поле, окружающее позицию прослушивания нового пространственного звукового объекта, например, в центре настраиваемой сферы микширования», — говорит Apple.
В то время как типичное приложение для редактирования звука теперь имеет плоское графическое отображение звука в виде волны, Apple предлагает новую систему, которая отображает звук в виде глобуса.
«Процесс также может визуализировать новый пространственный звуковой объект (новую пространственную кровать) как отдельный новый глобус, например, в среде SR, отображая поверхность нового глобуса с точки зрения звукорежиссера, который может находиться внутри новый глобус, например, в центре или за пределами нового глобуса », — говорится в приложении.
«Это может быть представлено в среде SR как виртуальная рука звукорежиссера, протягивающая руку и раскрашивающая ручной кистью или распылителем внутреннюю (или внешнюю) стену нового земного шара», — продолжает он, «где выбранный звук (входного пространственного аудиообъекта) должен быть визуализирован «.
Apple не называет будущую трехмерную версию Logic Pro по имени в этом приложении. Также он не предлагает конкретного имени для формата файла в первом.
Однако это не первый случай, когда Apple выступает за аудиоформат из-за его очевидных технологических преимуществ. Он создал свой собственный формат ALAC без потерь, а также выбрал AAC вместо MP3 для iTunes Store.
