Благодаря комбинации радара и LiDAR, которые теперь присутствуют в iPad Pro и iPhone 12 Pro, «Apple Glass» может ощущать окружающую среду вокруг пользователя, когда свет слишком слаб, чтобы он мог четко видеть.
Мы медленно изучаем, что Apple планирует использовать датчик LiDAR в таких устройствах, как iPhone 12 Pro, который использует его для помощи с автофокусом. Однако эта помощь при фокусировке особенно полезна в условиях слабого освещения — и Apple планирует использовать эту способность, чтобы помочь тем, кто носит «Apple Glass».
«Монтируемый на голову дисплей с возможностью работы в условиях низкой освещенности» — это недавно обнародованная патентная заявка, в которой описываются несколько способов восприятия окружающей среды вокруг владельца налобного дисплея (HMD).
«Человеческие глаза имеют разную чувствительность в разных условиях освещения», — начинает Apple. Затем он детализирует множество различных форм человеческого зрения от фотопического до мезопического, где разные типы или количества света зависят от разных «колбочек глаза».
Фотопическое зрение описывается как работа глаза при «высоких уровнях окружающего света … например, дневного света». Затем Apple предупреждает, что мезопическое или другие формы зрения по сравнению с ними не так хороши.
«По сравнению с фотопическим зрением, [these] может привести к потере цветового зрения, изменению чувствительности к разным длинам волн света, снижению остроты зрения и большей размытости движущихся объектов », — говорит Apple.« Таким образом, в условиях плохого освещения, например, когда полагается на скотопическое зрение, человек менее способен для просмотра окружающей среды, чем в хорошо освещенных условиях ».
Предлагаемое Apple решение использует датчики в HMD, такие как «Apple Glass», которые регистрируют окружающую среду. Затем результаты передаются обратно пользователю в неопределенном «графическом содержании».
Ключом к регистрации окружающей среды является способность определять расстояние между объектами, способность определять глубину. «Датчик глубины определяет окружающую среду и, в частности, определяет глубину (например, расстояние) от нее до объектов окружающей среды», — говорит Apple.
Головной дисплей может включать в себя радар и датчики LiDAR.
«Датчик глубины обычно включает в себя осветитель и детектор», — продолжает он. «Облучатель излучает электромагнитное излучение (например, инфракрасный свет) … в окружающую среду. Детектор наблюдает за электромагнитным излучением, отраженным от объектов в окружающей среде».
Apple старается не ограничивать возможные детекторы или методы, описанные в ее патентной заявке, но предлагает «конкретные примеры». Один из них — это использование времени полета и структурированного света — когда известный узор проецируется в окружающую среду, и время, необходимое для распознавания этого рисунка, дает детализацию глубины.
«В других примерах датчик глубины может быть радарным датчиком обнаружения и дальности (RADAR) или датчиком обнаружения и дальности света (LIDAR)», — говорит Apple. «Следует отметить, что можно использовать один или несколько типов датчиков глубины, например, включающих один или несколько из структурированного светового датчика, времяпролетной камеры, датчика RADAR и / или датчика LIDAR».
HMD от Apple также может использовать «ультразвуковые звуковые волны», но независимо от того, что излучает гарнитура, заявка на патент направлена на точное измерение окружающей среды и передачу этой информации владельцу.
«The [HMD’s] Контроллер определяет графическое содержимое в соответствии с восприятием окружающей среды одним или несколькими инфракрасными датчиками или датчиком глубины и ультразвуковым датчиком, — говорит Apple, — и управляет дисплеем, чтобы обеспечить отображение графического содержимого одновременно с обнаружением Окружающая среда.»
Эта заявка на патент присуждена четырем изобретателям, каждый из которых имеет отношение к предыдущей работе. Это включает в себя Тревора Дж. Несса, который имеет большой опыт работы с инструментами AR и VR для отображения лиц.
Сюда также входит Флетчер Р. Роткопф, у которого есть предыдущий патент на предоставление гарнитур AR и VR для пассажиров «Apple Car», не вызывая у них болезней.
Это проблема для всех налобных дисплеев, и наряду с этой патентной заявкой на низкий уровень освещенности у Apple теперь есть связанная с использованием отслеживания взгляда, чтобы уменьшить возможную дезориентацию и, как следствие, укачивание.
Отслеживание взгляда для изображений смешанной реальности
«Устройства улучшения изображения с отслеживанием взгляда» — это еще одна недавно опубликованная патентная заявка, на этот раз сфокусированная на представлении изображений AR, когда пользователь может двигать головой.
«Представить пользователю контент смешанной реальности может быть непросто, — объясняет Apple. «Представление изображений смешанной реальности пользователю может, например, быть нарушено движением головы и глаз».
«Пользователи могут иметь разные визуальные возможности», — продолжает он. «Если не принять меры, будут представлены изображения смешанной реальности, которые вызывают дезориентацию или укачивание и затрудняют пользователю идентификацию интересующих элементов».
В зависимости от того, куда смотрит пользователь, «Apple Glass» может изменять изображения, чтобы предотвратить укачивание.
Предлагаемое решение частично состоит в том, чтобы использовать идею, очень похожую на идею помощи LiDAR в условиях низкой освещенности. Гарнитура или другое устройство «также может собирать информацию о реальном изображении, такую как информацию о содержании, движении и других атрибутах изображения, путем анализа реального изображения».
Это связано с тем, что устройство знает о «зрительной информации пользователя, такой как острота зрения пользователя, контрастная чувствительность, поле зрения и геометрические искажения». Вместе с любыми предпочтениями, которые может установить пользователь, изображение смешанной реальности может быть представлено таким образом, чтобы минимизировать дезориентацию.
«[As] Например, часть реального изображения может быть увеличена для пользователя с ослабленным зрением только тогда, когда точка взгляда пользователя относительно статична, чтобы избежать эффекта укачивания », — говорит Apple.
Эта заявка на патент принадлежит четырем изобретателям, в том числе Кристине Г. Гамбакорте. Ранее она была включена в соответствующий патент, связанный с использованием отслеживания взгляда в «Apple Glass», чтобы сбалансировать качество изображения с временем автономной работы, изменяя разрешение того, на что смотрит пользователь.
