Исследователи безопасности придумали довольно дикий эксплойт Vision Pro. Названный GAZEploit, это метод выработки паролей пользователей Vision Pro путем наблюдения за движениями глаз их аватаров во время видеозвонков.
Они подготовили видеоролик на YouTube (ниже), демонстрирующий, как отслеживание движений глаз аватара позволяет точно определять виртуальные клавиши, на которые смотрит пользователь Vision Pro при наборе текста…
При наборе текста на Vision Pro как на автономном устройстве отображается большая виртуальная клавиатура, а также используется отслеживание взгляда для определения того, на какую клавишу смотрит пользователь во время виртуального набора текста.
Проблема в том, что если вы разговариваете по видеосвязи, глаза вашего аватара будут точно отражать направление ваших собственных глаз, и злоумышленник может отслеживать движения глаз аватара, чтобы определить, на какие клавиши вы смотрите во время набора текста.
Нейронная сеть может даже работать когда вы печатаете.
Оценка взгляда выявляет примечательную закономерность:
- Направление взгляда становится более концентрированным и имеет периодическую направленность во время сеанса печати.
- Частота моргания глаз уменьшается во время сеансов печати
Рекуррентная нейронная сеть (RNN) подходит для задач, требующих распознавания закономерностей в последовательных данных.
Команда проанализировала движения глаз 30 пользователей Vision Pro и смогла добиться очень высоких показателей точности.
Во время набора текста взгляд пользователя перемещается между клавишами и фиксируется на клавише, которую нужно нажать, что приводит к саккадам, за которыми следуют фиксации. Саккады относятся к периоду, когда пользователи быстро перемещают взгляд с одного объекта на другой. Фиксации относятся к периоду, когда пользователи пристально смотрят на объект.
Мы разработали алгоритм, который вычисляет стабильность следа взгляда и устанавливает порог для классификации фиксаций от саккад. Мы используем точки оценки взгляда в этих областях высокой стабильности в качестве кандидатов на щелчок. Оценка на нашем наборе данных показывает точность и скорость запоминания 85,9% и 96,8% при идентификации нажатий клавиш во время сеансов печати.
Помимо обнаружения паролей, GAZEploit также мог отслеживать сообщения и адреса веб-сайтов, вводимые пользователями Vision Pro во время видеозвонков.
