Skip to main content

Пользователям устройств Apple в будущем, возможно, даже не придется даже произносить слово «Siri», поскольку Apple исследует способы использования обнаружения взгляда, чтобы устройство знало, что оно нужно.

Владельцы нескольких устройств в экосистеме Apple будут знакомы с одной из менее известных проблем использования Siri, а именно с тем, чтобы она работала на одном устройстве, а не на другом. Когда вы находитесь в комнате, где есть iPhone, iPad и HomePod mini, может быть сложно определить, какое устройство на самом деле ответит на запрос, и при этом это может быть не обязательно нужное устройство.

Кроме того, не все чувствуют себя комфортно при использовании подсказки «Привет, Siri», поэтому Apple недавно объявила о сокращении ее до «Siri» или, по крайней мере, на некоторых устройствах.

Тем не менее, ошибочное использование «Siri» или «Привет, Siri» — и триггерных фраз других цифровых помощников — на телевидении и радио все еще может вызывать запросы, которые пользователи могут не захотеть выполнять.

Кроме того, существует вероятность того, что пользователям потребуется взаимодействовать с устройствами вообще без использования голоса. Конечно, могут быть ситуации, когда команду нужно подать на расстоянии или когда разговаривать с устройством может быть социально неловко.

В недавно выданном патенте под названием «Управление устройством с использованием информации о взгляде» Apple предполагает, что можно управлять Siri визуально. В частности, предлагается, чтобы устройства могли обнаруживать взгляд пользователя, чтобы определить, хочет ли этот пользователь, чтобы это устройство ответило.

В заявке предлагается система, которая использует камеры и другие датчики, способные определять местоположение пользователя и направление его взгляда, чтобы понять, на что он смотрит. Эта информация может быть использована для автоматического перевода просматриваемого устройства в режим приема инструкций, в котором оно активно слушает, ожидая, что инструкции будут ему переданы.

Если цифровой помощник интерпретирует то, что может быть командой в этом состоянии, он может затем выполнить ее, как если бы словесный триггер был произнесен заранее, избавляя пользователей от шага. Это по-прежнему позволит использовать такие фразы, как «Привет, Siri», особенно когда пользователь не смотрит на устройство.

Использование взгляда в качестве барометра того, хочет ли пользователь передать цифровому помощнику команду, полезно и в других отношениях. Например, взгляд, обнаруженный взглядом на устройство, может подтвердить, что пользователь активно намеревается, чтобы устройство выполняло команды.

Согласно патенту, цифровой помощник для HomePod потенциально может интерпретировать команду только в том случае, если пользователь смотрит на нее.

С практической точки зрения это может означать разницу между устройством, интерпретирующим фрагмент предложения, такой как «играть в Элвиса», как команду или как часть разговора, который в противном случае он должен игнорировать.

Для владельцев нескольких устройств обнаружение взгляда может позволить сделать инструкцию одному устройству, а не другим, выделенным при взгляде на него.

В заявке упоминается, что простой взгляд на устройство не обязательно будет регистрироваться как намерение прослушать инструкции, поскольку необходимо выполнить ряд «критериев активации». Это может быть просто непрерывный взгляд в течение определенного периода времени, например секунды, чтобы исключить незначительные взгляды или ложные срабатывания от человека, поворачивающего голову.

Также важен угол наклона головы. Например, если устройство расположено на прикроватной тумбочке, а пользователь лежит в постели и спит, устройство потенциально может считать взгляд пользователя, обращенного к устройству, в зависимости от того, как он лежит, но может сбрасывать со счетов это как таковое для реализации пользовательского голова на боку, а не вертикально.

Будущие устройства Apple могут позволить вам выделять текст, просто глядя на него

В ответ устройство может предоставить пользователю ряд индикаторов того, что помощник был активирован взглядом, например шум или световой узор от встроенных светодиодов или дисплея.

Учитывая возможность регистрации взгляда пользователя, система также может определить, смотрит ли пользователь на объект, с которым он хочет взаимодействовать, а не на устройство, на котором находится виртуальный помощник. Например, пользователь может смотреть на одну из нескольких ламп в комнате, и устройство может использовать контекст взгляда пользователя, чтобы определить, какую лампу пользователь хочет включить с помощью команды.

Близлежащие устройства могли обнаруживать взгляд пользователя на другие управляемые объекты в комнате.

Близлежащие устройства могли обнаруживать взгляд пользователя на другие управляемые объекты в комнате.

В патенте, первоначально поданном 28 августа 2019 года, его изобретателями были Шон Б. Келли, Фелипе Басим Де Араужо Э. Силва и Карлин Ю. Барк.

Apple еженедельно подает многочисленные патентные заявки, но, хотя наличие патента указывает на области, представляющие интерес для ее исследований и разработок, они не гарантируют, что патент будет использован в будущем продукте или услуге.

Возможность удаленного управления устройством несколько раз упоминалась в более ранних патентных заявках. Например, в патенте 2015 года на «Оценку положения рук и пальцев на основе обучения» предлагалось использовать систему оптического 3D-картографирования для жестов рук, которая могла бы быть похожа по концепции на оборудование Microsoft Kinect.

В другой заявке от 2018 года на «Мультимедийную вычислительную или развлекательную систему для реагирования на присутствие и активность пользователя» предлагается ввести данные трехмерного датчика для создания карты глубины комнаты, которую можно использовать для распознавания жестов во всей комнате. .

Обнаружение взгляда также широко изучалось, совсем недавно это было связано с гарнитурой Apple Vision Pro.

Гарнитура Apple AR с функцией отслеживания взгляда и возможной технологии распознавания радужной оболочки глаза, говорит Куо.