В будущих iPhone могут использоваться тепловизоры или инфракрасные изображения в дополнение к обычным камерам зрения, что упростит использование Apple AR в темноте или в загруженных местах.
Apple действительно хочет, чтобы мы отказались от идеи дополненной реальности, в которой мы должны прикрывать головы гигантскими очками и стоять на месте, пока игры движутся вокруг нас. Вместо этого он рассматривал менее навязчивые гарнитуры, такие как «Apple Glass», и теперь также исследует, как решить дополнительные проблемы, связанные с движением.
«Метод и система для определения по крайней мере одного свойства, относящегося по крайней мере к части реальной окружающей среды» — это недавно обнаруженная патентная заявка, которая на 22 000 слов лишь немного длиннее, чем ее название. Несмотря на то, что в нем подробно рассказывается о различных методах достижения своих целей, все они сосредоточены на одной и той же проблеме.
«Методы компьютерного зрения, которые включают анализ изображений, часто используются, например, в навигации, распознавании объектов, трехмерной реконструкции, оценке положения камеры и приложениях дополненной реальности, и это лишь некоторые из них», — говорится в заявке на патент.
«[However, when] оценка положения камеры, распознавание объекта, отслеживание объекта, алгоритм одновременной локализации и отслеживания (SLAM) или алгоритм структуры из движения (SfM) используются в динамических средах, где хотя бы один реальный объект движется, точность алгоритма часто снижается в значительной степени, — говорится в нем, — с частыми сбоями отслеживания, несмотря на надежные методы оптимизации, используемые в реальных алгоритмах ».
Деталь из патента, показывающая метод использования тепловидения для улучшения дополненной реальности.
Очевидная возникающая проблема заключается в том, что AR может ошибаться, пытаясь разместить виртуальный объект в реальной среде. Apple говорит, что на самом деле проблема лежит немного глубже, и поэтому необходимо найти решение.
«Это связано с тем, что различные алгоритмы компьютерного зрения предполагают статическую среду и единственный движущийся объект в сцене — это сама камера, позу которой можно отслеживать», — продолжает он. «Это предположение часто нарушается, учитывая, что во многих сценариях в зоне обзора камеры могут присутствовать различные движущиеся объекты».
Таким образом, любая система AR будет иметь все возможные данные о себе — гарнитуру или камеру на гарнитуре — но отслеживать все остальное сложно. И это сложно по совокупности вопросов, включая обработку данных.
«В настоящее время существует множество алгоритмов для обнаружения и сегментации динамических (т. Е. Движущихся) объектов в сцене», — говорит Apple. «Однако такие подходы обычно требуют больших вычислительных ресурсов и основаны на сегментации движения и / или методах оптического потока».
Сообщается, что эти методы требуют «большого количества кадров, необходимых для надежного обнаружения движущихся объектов». Apple описывает несколько других альтернатив, но заявляет, что каждая из них включает «повышенную сложность и вычислительные затраты».
Решение Apple состоит в том, чтобы дополнить визуальные камеры дополненной реальности камерами, использующими тепловизор или инфракрасный порт. «[Thermal] свойства реальных объектов на сцене могут быть использованы для повышения надежности и точности алгоритмов компьютерного зрения (например, отслеживание и распознавание объектов на основе зрения) », — говорится в сообщении.
Если система может знать «тепловые свойства» нераспознанных или того, что Apple называет «ненадежными объектами», то «тепловизионное устройство можно использовать для обнаружения … объектов».
Хотя патентная заявка почти исключительно описывает использование этих методов для повышения точности в загруженных и движущихся средах, есть еще один элемент. Использование тепловизора означает, что AR не будет так сильно зависеть от использования в идеально освещенных условиях.
Заявка присуждена Дарко Станимировичу и Даниэлю Курцу. У последнего есть предыдущий патент на способ использования AR для превращения любой поверхности в дисплей с сенсорным управлением.
