Новое исследование показывает, что Apple изучает, как HomePod или другие устройства могут использовать звук для оценки расстояния до говорящего пользователя, а также для определения звуков вокруг него.
Apple HomePod уже очень хорошо слышит ваш голос, даже когда он громко проигрывает музыку. Две отдельные новые патентные заявки показывают, что Apple хочет улучшить это и вывести способность устройств слушать на новый уровень.
Один из них, «Оценка расстояния на основе обучения», касается использования звука не только для распознавания пользователя, но и для определения его местонахождения.
«Часто желательно, чтобы устройство оценивало расстояние от устройства до пользователя, используя [its] компактный набор микрофонов, — говорится в заявке на патент. — Например, устройство может регулировать громкость воспроизведения или отклик интеллектуального вспомогательного устройства на основе предполагаемого расстояния пользователя от устройства ».
«[So] если пользователь находится очень близко к устройству, музыка или речь не будут воспроизводиться с большой громкостью, «продолжает он.» В качестве альтернативы, если пользователь находится далеко, воспроизведение мультимедиа или ответ от устройства интеллектуального помощника можно настроить на громче. »
Эта же идея также предназначена для использования в впечатляющей, но несколько несовершенной системе Apple, где все ваши устройства пытаются определить, кому вы сказали «Привет, Siri».
Несмотря на этот рисунок в патенте, маловероятно, что оригинальный iPhone получит новые предлагаемые технологии.
«В приложениях, где есть несколько устройств, — говорит Apple, — устройства могут координировать свои действия или проводить арбитраж между собой, чтобы решить, какое из них должно отвечать на запрос, в зависимости от расстояния от каждого устройства до пользователя».
Apple предлагает как простые, так и более сложные решения, которые можно использовать совместно. Самый простой — заставить устройство делать то же, что и HomePod, и сначала составлять карту своего окружения.
Тогда он фактически имеет «сетку измеренных или смоделированных точек в акустической среде». В этом случае звук можно сравнить с этой «сеткой», чтобы приблизительно определить, где находится говорящий.
Однако Apple не считает, что это достаточно хорошо, а также говорит, что это наименее полезно с Siri. Это потому, что человек может двигаться во время разговора, а также потому, что он требует быстрого ответа, для чего это предложение не подходит.
В качестве альтернативы, тогда, «если доступны по крайней мере две решетки микрофонов», тогда «расстояние до источника голоса может быть оценено с использованием метода триангуляции».
Однако ключевым моментом здесь является необходимость как минимум двух устройств с микрофонами. Следовательно, у Apple есть другое, более сложное решение, которое включает в себя «систему, основанную на обучении, такую как глубокая нейронная сеть (DNN)» и не требует наличия нескольких устройств.
«Система глубокого обучения может оценивать расстояние до источника речи в каждом временном кадре на основе речевых сигналов, принимаемых компактной микрофонной решеткой», — говорится в заявке на патент.
Эта система DNN может определять, что такое речь, а что — фоновый шум. Затем он может вычислить «информацию о прямом распространении сигнала», а также «эффект реверберации и шум».
Это приложение принадлежит трем изобретателям, в том числе Мехрезу Содену и Джошуа Д. Аткинсу. Их предыдущая связанная работа включает выданные патенты на то, как записывать полный пространственный звук с использованием меньшего, чем у обычных микрофонов, количества микрофонов.
Это особенно касается звука в Apple AR, где эта последняя заявка на патент касается физических устройств в реальных средах. Однако, если кажется, что пойти на это очень сложно, просто чтобы не оторвать кому-то уши слишком громким HomePod mini, есть еще кое-что.
«Например, вспомогательные и дополненные слуховые аппараты, такие как слуховые аппараты, могут усиливать аудиосигналы в зависимости от расстояния до источника голоса», — говорится в заявке на патент.
Именно на этом и сосредоточена вторая недавно обнаруженная заявка на патент.
Определение важных звуков
«Системы и методы определения источника звука на основе наблюдаемого звука» — это то, что одни устройства распознают звуки других и реагируют на них за нас.
«Многие бытовые приборы, такие как, например, микроволновые печи, стиральные, посудомоечные машины и дверные звонки, издают звуки, чтобы предупредить пользователя об изменении состояния устройства», — начинается заявка на патент.
Будущее устройство Apple сможет распознавать звуки, такие как сигналы тревоги, и уведомлять пользователя — или власти — по мере необходимости.
«Тем не менее, пользователи могут не слышать звуковой сигнал, издаваемый бытовой техникой, по любой из множества причин», — продолжает он. «Например, у пользователя может быть нарушение слуха, пользователь может находиться на улице или в другой комнате, или устройство может издавать звук, заглушенный домашней акустической сценой».
Это также не должно быть срабатыванием таймера для яиц. Этот патент в равной степени касается звуков в «общественных местах (правительственные здания), полуобщественных пространствах (офисные холлы) и частных помещениях (жилых или офисных зданиях)».
«[These] также есть акустические сцены, которые могут содержать звуки, несущие информацию, — говорит он. — Например, звонок, перезвон или зуммер могут указывать на то, что дверь была открыта или закрыта, или сигнал тревоги может издавать сирену или другой звук, предупреждающий находящихся поблизости опасности (например, дым, огонь или окись углерода) ».
В целом, эта патентная заявка в основном описывает методы, с помощью которых устройство можно «обучить» распознавать «часто встречающиеся звуки». Затем он будет продолжать прислушиваться к любому из них, и когда он услышит один из них, может выдать «выбранный выходной сигнал в ответ на определение того, что звук присутствует в акустической сцене».
Другими словами, если у вас срабатывает таймер яиц, возможно, устройство сможет заставить ваши Apple Watch нажимать вас на запястье. Или, если это охранная сигнализация, то же устройство может уведомить власти.
«Звук несет в себе большой объем контекстной информации», — говорит Apple. «Распознавание часто встречающихся звуков может позволить электронным устройствам адаптировать свое поведение или предоставлять услуги, реагирующие на наблюдаемый контекст (например, определяемый по наблюдаемому звуку), повышая их актуальность и ценность для пользователей, требуя при этом меньшей помощи или ввода от пользователей».
Эта вторая заявка на патент подана четырем изобретателям, включая Дэниела К. Клингера. Его предыдущая работа включает патентную заявку на безопасный прием телефонных звонков через HomePod или другие устройства.
