Apple надеется добавить технологию Apple AR в приложение Measure на iPhone, чтобы сделать его более точным и автоматически помечать объекты с помощью их измерений.
Приложение Measure на iPhone стало более полезным и точным с появлением LiDAR. Теперь Apple изучает возможность внедрения своей технологии Apple AR, чтобы сделать ее более быстрой и точной.
В будущем, если вы наведете камеру iPhone на объект, вы сможете автоматически получать на экране уведомление о его измерениях. Он будет делать это с помощью AR и частично с помощью машинного обучения для различных типов объектов.
«Автоматические измерения на основе классификации объектов» — это недавно обнаруженная патентная заявка. Это связано с тем, как определить, какой объект вас интересует, а затем как точно его измерить.
Заявка на патент особенно широка и включает «устройства, системы и методы, которые получают трехмерное (3D) представление физической среды». Сгенерированные детали основаны на целом ряде различных датчиков и измерений, связанных с «данными о глубине и данными изображения интенсивности света».
«[These] создать трехмерную ограничивающую рамку, соответствующую объекту в физической среде на основе трехмерного представления, — говорит Apple, — классифицировать объект на основе трехмерной ограничительной рамки и трехмерных семантических данных и отобразить измерение объекта, где измерение объекта определяется с использованием одной из множества нейронных сетей, зависящих от класса, выбранных на основе классификации объекта ».
Во-первых, AR определит, какой объект вас интересует. В заявке на патент не говорится о том, как именно делается это определение. Тем не менее, вы можете сделать вывод, что это похоже на то, как портретный режим распознает, что вы фокусируетесь на человеке на переднем плане.
«Генерация обнаружения объектов и измерений объектов упрощается в некоторых реализациях с использованием семантически размеченных трехмерных представлений физической среды», — говорится в заявке на патент. «Некоторые реализации выполняют семантическую сегментацию и маркировку трехмерных облаков точек физической среды».
Как бы то ни было, оно определяет, что вы измеряете, а что не хотите измерять, это будущее приложение Measure может использовать «несколько различных методов».
«В некоторых реализациях объект измеряется путем создания трехмерного ограничивающего прямоугольника для объекта на основе данных о глубине», — говорит Apple, «уточняя ограничивающий прямоугольник с использованием различных нейронных сетей и уточняющих алгоритмов, описанных здесь».
Ограничивающая рамка может начинаться с определения базовой ширины, высоты и глубины объекта. Затем приложение Measure идет дальше, пытаясь классифицировать объект, например, будь то стул или телевизор.
«[For example, an] объект измеряется с использованием различных типов измерений для разных типов объектов с использованием методов машинного обучения (например, нейронных сетей), — говорит Apple ».[Different] типы измерений могут включать высоту сиденья для стульев, диаметр дисплея для телевизоров, диаметр стола для круглых столов, длину стола для прямоугольных столов и тому подобное ».
Машинное обучение уже способно распознавать и классифицировать объекты даже на плоских изображениях. Редакторы изображений Mac, такие как Pixelmator Pro, используют его, например, для автоматической маркировки слоев.
Деталь из патента, показывающая, как пользователь измеряет различные объекты
Apple хочет «обучить» машинное обучение способам измерения конкретных объектов.
«Например, одну модель можно обучить и использовать для определения размеров объектов типа стульев (например, определение высоты сиденья, длины рук и т. Д.), — говорит Apple, — а другую модель можно обучить и использовать для определения измерений для Объекты телевизионного типа (например, определение размера диагонали экрана, наибольшей глубины телевизионного изображения и т. Д.) «.
Идея в том, что если вы измеряете стол, вам нужно знать детали его поверхности. Если вы измеряете телевизор, вам может потребоваться как физическая ширина, так и размер диагонали экрана, не считая лицевых панелей.
На самом деле смысл этого потенциального нового приложения Measure заключается в том, что вам не нужно заботиться или знать какие-либо детали того, как измеряется объект. Вместо этого вы просто указываете на iPhone, и вся предлагаемая технология приводит к появлению на экране метки, показывающей, насколько широк, глубокий или высокий объект.
Эта патентная заявка присуждена пяти изобретателям. Сюда входит Адитья Санкар, чья предыдущая работа включает патент на съемку сцен в помещении.
