AR-гарнитура Apple или умные очки Apple Glass могут предлагать реалистичные звуковые эффекты в сочетании с цифровыми изображениями, наложенными на реальный вид, благодаря точному воспроизведению звука таким образом, чтобы оно соответствовало тому, откуда звук будет исходить в трехмерном пространстве. ,
Игровые системы и системы виртуальной реальности предоставляют пользователю некоторый уровень звуковой обратной связи для сопровождения визуальных эффектов. В случае дополненной реальности опыт наблюдения цифрового предмета в реальном мире может быть легко усилен звуковым эффектом, когда с ним каким-то образом взаимодействует.
Хотя аудио может помочь продать иллюзию видео, существуют некоторые ограничения. Типичная настройка стереонаушников может обеспечить некоторую ограниченную левую и правую дифференциацию на базовом уровне, в то время как виртуальные звуковые системы способны имитировать трехмерные положения, изменяя свойства звукового эффекта, чтобы имитировать искажения, основанные на его расположении.
Например, звук, воспроизводимый за головой пользователя, может быть приглушенным, а звук спереди может быть намного более четким. Однако, хотя это может быть полезно, этот эффект не совсем правдоподобен, поскольку различия в физиологических элементах, таких как уши, голова и тело, могут изменить то, что человек ожидает услышать от шума в определенной позиции.
В патенте, выданном Apple во вторник под названием «Выбор передаточной функции, связанной с головкой, для бинаурального воспроизведения звука», Apple полагает, что она может улучшить эффект виртуального позиционирования 3D-звука, имея так называемую передаточную функцию, связанную с головой (HRTF). Это фактически пара акустических фильтров для каждого уха, которые характеризуют передачу звука из одного места в окружающей среде в ухо.
Каждый HRTF зависит от ряда факторов, чтобы соответствовать различиям между людьми с точки зрения пространственного ожидания слуха. Хотя создание HRTF для отдельного пользователя, использующего потребительскую электронику, с любым реальным уровнем точности является относительно трудоемким или нецелесообразным, существует возможность использования либо общего «среднего» HRTF, либо выбора HRTF, ближайшего к потребности пользователя.
Пример матрицы оценок для группы пользователей, испытывающих различные настройки HRTF.
Затем HRTF используется как часть алгоритма цифровой обработки сигналов бинаурального моделирования для воспроизведения аудиозаписи в виде бинаурального звука, который, в свою очередь, воспроизводится через наушники.
Патент сосредоточен вокруг идеи выбора ближайшего HRTF к тому, что необходимо, путем сокращения базы данных для избранных. Процесс обрезки может включать удаление параметров, которые далеки от базовых характеристик пользователя, таких как рост, пол, раса и возраст.
Сокращение базы данных до меньшего числа увеличивает вероятность наиболее правильного использования HRTF, советует патент. После начальных настроек система может затем сузить свой выбор до наиболее общего из сокращенного списка, чтобы выбрать наиболее подходящий HRTF для использования.
Чтобы помочь системе больше, предлагается, чтобы аудиоустройство для пользователя могло бы выполнить бинауральное измерение. Если устройство используется только одним пользователем, измерение потребуется выполнить только один раз, но оно может предложить потенциально другую информацию о том, какой HRTF будет наилучшим.
Система будет искать лучшее соответствие для HRTF слушателя, а не их конкретные настройки.
Также предлагается, чтобы, группируя пользователей, можно было контролировать массовое использование различных HRTF, чтобы помочь улучшить выбор. Например, знание того, что пользователи в возрасте от 20 до 25 лет предпочитают HRTF с определенными свойствами, будет означать, что система будет ошибочно относиться к этим конкретным фильтрам, если встретит кого-то, кто соответствует этим настройкам в будущем.
В заявке перечислены ее изобретатели: Дарий А. Сатонгар, Джонатан Д. Шиффер, Мартин Э. Джонсон и Питер В. Юпин.
Apple подает многочисленные патентные заявки на еженедельной основе. Хотя наличие заявки указывает на области, представляющие интерес для исследований и разработок компании, они не гарантируют, что концепция будет использоваться в будущем продукте или услуге.
В результате обработки аудио от Apple появились такие продукты, как HomePod, а также его функция подавления сквозного шума в AirPods Pro, но она все еще продолжает развивать больше идей, связанных со звуком.
В декабре 2019 года ей был выдан патент на «Систему удаления виртуального звука от слушателя с использованием средства подавления перекрестных помех», которая выполняет трюк с пространственным звуком, создавая впечатление, что звук исходит из другого места, чем динамики устройства. ,
Одно подходящее место, где патент может быть применен, — это «Apple Glass», очки AR, о которых давно ходят слухи. Так как предполагается использование AR и применение цифровых элементов в реальной среде, чтобы пользователь мог видеть и взаимодействовать с ними, совершенствование воспроизведения звука может помочь сделать несуществующий элемент более правдоподобным для пользователя.
Соответствующий патент под названием «Устройства отображения с мультимодальным аудио» предполагает, что гарнитура может иметь наушники, которые подстраиваются под тип представляемого звука.
