По словам бывшего инженера Apple, Apple Vision Pro привлекла много нейробиологов для разработки некоторых своих ключевых функций, при этом он полагался на различные приемы, чтобы определить, что человек может делать в интерфейсе.
Основной интерфейс гарнитуры Apple Vision Pro основан на навигации с использованием отслеживания взгляда и жестов, при этом системе необходимо как можно быстрее определить, на что конкретно смотрит пользователь. В Твиттере проводка в понедельник занавес открывается, чтобы раскрыть некоторые из ранних идей, которые вошли в проект.
Стерлинг Криспин проработал исследователем прототипов нейротехнологий в группе разработки технологий в Apple более трех лет, что является самым продолжительным периодом, когда он «когда-либо работал над одним проектом». Находясь там, он работал над элементами, которые поддерживали фундаментальную разработку гарнитуры, включая «опыт осознанности» и другие «амбициозные исследования лунных технологий с нейротехнологиями».
В качестве примера Криспин сравнил это с «чтением мыслей», таким как предсказание того, что пользователь нажмет, прежде чем он это сделает.
«Гордый тем, что внес свой вклад в первоначальное видение» гарнитуры, Криспин был в небольшой команде, которая «помогла дать зеленый свет этой важной категории продуктов», которая, по его мнению, «однажды может оказать значительное глобальное влияние».
Хотя большая часть его работы все еще находится под NDA, Криспин все еще может обсуждать детали, которые были обнародованы в патентах.
Психические состояния
Работа Криспина заключалась в определении психического состояния пользователей на основе данных, собранных «из их тела и мозга, когда они находились в иммерсивном опыте».
Используя отслеживание взгляда, электрическую активность, сердцебиение, мышечную активность, кровяное давление, проводимость кожи и другие показатели, модели ИИ могут попытаться предсказать мысли пользователя. «Модели искусственного интеллекта пытаются предсказать, испытываете ли вы любопытство, блуждаете в мыслях, боитесь, обращаете внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние», — пишет Криспин.
Одним из «самых крутых результатов» была возможность предсказать, когда пользователь нажмет на что-то, прежде чем он это сделает.
«Ваш зрачок реагирует еще до того, как вы нажмете, потому что вы ожидаете, что что-то произойдет после того, как вы нажмете», — объясняет Криспин. «Таким образом, вы можете создать биологическую обратную связь с мозгом пользователя, наблюдая за поведением его глаз и переделывая пользовательский интерфейс в режиме реального времени, чтобы создать больше этой упреждающей реакции зрачка».
Он сравнивает это с «грубым компьютерным интерфейсом мозга через глаза», что он возьмет на себя «инвазивную операцию на головном мозге в любой день».
Влияние на пользователя
В другом трюке для определения состояния пользователям могут показываться визуальные эффекты или воспроизводиться звуки способами, которые они не воспринимают, а затем измерять реакцию на этот стимул.
В другом патенте объяснялось, как можно использовать машинное обучение и сигналы тела для прогнозирования концентрации внимания пользователя, расслабленности или для определения того, насколько хорошо он учится. Используя эту информацию и состояние, система может адаптировать виртуальную среду для улучшения требуемого состояния.
Криспин добавляет, что есть «множество других вещей, с которыми я был связан», которые не нашли отражения в патентах, и надеется, что в будущем появится больше.
Несмотря на то, что Vision Pro в целом доволен влиянием, все же есть предупреждение о том, что это «все еще один шаг вперед на пути к виртуальной реальности», и что индустрии может потребоваться еще десять лет, чтобы полностью наверстать упущенное.
