Новое исследование Apple и Университета Карнеги-Меллона позволяет понять, как интеллектуальные устройства могут узнавать об окружающей среде, чтобы лучше понимать запросы, зная, когда и где они разговаривают.
Будущие HomePods могут узнать об их окружении, слушая и спрашивая пользователей
Ученые из Apple и Института взаимодействия человека с компьютером Университета Карнеги-Меллона опубликовали исследовательскую работу, в которой описывается, как можно улучшить такие устройства, как Siri и HomePod, при помощи прослушивания их окружения. В то время как многие устройства Apple слушают, они явно ждут, чтобы услышать фазу «Эй, Сири», и все остальное игнорируется.
То же самое с Alexa, или, по крайней мере, теоретически, но эти исследователи выступают за то, чтобы умные устройства активно слушали, чтобы определить детали своего окружения — и что люди там делают.
«Слушай, ученик, — говорят они в своей газете».[is] метод распознавания активности, который постепенно изучает события, характерные для развернутой среды, одновременно сводя к минимуму нагрузку на пользователя ».
В настоящее время HomePods автоматически настраивают свой аудиовыход в соответствии с окружающей средой и пространством, в котором они находятся. И Apple подала патенты, в которых будущие HomePods будут использовать положение людей в комнате для направления звука на них.
Идея исследования этой статьи заключается в том, что подобные датчики могут прослушивать звуки и определять, откуда они исходят. Затем он может сгруппировать их так, чтобы, например, он распознал, в каком направлении идет звуковой сигнал от микроволновой печи. Понимание контекста того, где кто-то стоит, и какие шумы слышны и в каком направлении, может помочь Siri лучше понимать запросы или предоставлять информацию.
«Например, система может задать подтверждающий запрос:« Это был дверной звонок? », В котором пользователь отвечает« да », — продолжает он. «Как только метка установлена, система может предлагать push-уведомления и другие действия всякий раз, когда событие повторяется. Это взаимодействие связывает как физические, так и цифровые домены, предоставляя возможности, которые могут быть полезны для пользователей, которые, например, плохо слышат».
Хотя в газете неоднократно и исключительно упоминаются HomePods, она действительно касается любого устройства с микрофонами. Это говорит о том, что, поскольку у всех нас сейчас постоянно растет число устройств, способных к прослушиванию, у нас уже есть инструменты для улучшения голосового управления.
В видео, сопровождающем статью, исследователи демонстрируют, как подобное прослушивание может повысить точность, а также то, насколько оно успешнее предыдущих попыток обучения устройств.
В документе «Автоматическое обнаружение классов и одноразовые взаимодействия для распознавания акустической активности» предлагается, чтобы устройство могло непрерывно слушать, хотя «нет необработанного звука на устройстве или в облаке». Он продолжает делать это, эффективно создавая метки или теги, которые запускаются определенными звуками, пока он в основном не услышан достаточно.
«В конце концов, система становится уверенной в том, что появляющийся кластер данных является уникальным звуком, и в этот момент он запрашивает [the user] для этикетки в следующий раз, когда это произойдет, «объясняет газета.» Система спрашивает: «что это был за звук?», и [the user] отвечает: «Это мой кран». Со временем система может продолжать интеллектуально запрашивать у Лизы метки, тем самым медленно создавая библиотеку распознанных событий ».
А также общее «что это был за звук?» вопрос, он может быть в состоянии угадать, поэтому попробуйте задать более конкретный вопрос. «Система может спросить:« Это был блендер? », — говорится в газете. «В котором [case the user] отвечает: «Нет, это была моя кофемашина».
Хотя статья посвящена главным образом эффективности устройства, задающего пользователям подобные вопросы, исследователи объясняют, что они также пытались использовать конкретные варианты использования. «Мы создали приложение« умный динамик », которое использует Listen Learner для обозначения акустических событий для обеспечения доступности дома», — говорится в нем.
Пока нет никаких признаков того, что Apple или другие фирмы будут интегрировать эту идею в свои умные колонки. Вместо этого это был краткосрочный целенаправленный тест, и у команды есть рекомендации для дальнейших исследований.
Тем не менее, это многообещающе, потому что они приходят к выводу, что этот тест «обеспечивает уровни точности, подходящие для общих случаев использования распознавания активности» и приближает «видение контекстно-зависимых взаимодействий к реальности».
