Покупки в дополненной реальности — это мечта с помощью Apple RoomPlan API.

Покупки в дополненной реальности вот-вот выйдут на новый уровень благодаря новой возможности, представленной в iOS 16. Новый Apple RoomPlan API использует сканер LiDAR в последних моделях iPhone Pro для создания 3D-плана комнаты — и впечатляющая новая демонстрация показывает, на что он способен. из.

Shopify создал доказательство концепции, которая сканирует комнату, а затем позволяет вам виртуально освободить ее, чтобы увидеть, как новая мебель будет смотреться в пространстве. Кроме того, вы можете удалить определенные предметы, например, диван, а затем вставить в пространство новые…

Если это звучит знакомо, то это потому, что Ikea уже сделала то же самое в более грубой форме, но в то время мы отмечали, что RoomPlan, вероятно, позволит мебельным компаниям создавать более сложные приложения.

Shopify’s Расс Машмайер говорит, что к этой возможности был большой интерес. Он называет эту функцию кнопкой сброса для комнаты и объясняет, что она может делать.

AR позволяет легко попробовать новые диваны, но диван, который уже находится в вашем пространстве, может помешать. Что, если бы в каждой комнате была кнопка сброса? Space Eraser моделирует пространства с высокой точностью, захватывая объекты, определяющие комнату, их размер, положение и ориентацию.

Пиксельные данные в реальном времени объединяются с данными глубины LiDAR, чтобы создать реалистичного цифрового двойника вашей комнаты, который можно наложить на ваше реальное пространство с помощью AR, а затем отредактировать в цифровом виде.

Имея пустую комнату, покупатели теперь могут листать наборы комнат, которые используют ориентацию существующей мебели для автоматической расстановки.

С цифровым двойником вашей комнаты и вашей мебели вы можете просто убрать свой оригинальный диван, чтобы изучить варианты, которые лучше подходят к остальной части комнаты.

Здесь вы можете увидеть процесс сброса:

А вот, убрав из комнаты отдельные предметы:

Пиксельные данные в реальном времени объединяются с данными глубины LiDAR, чтобы создать реалистичного цифрового двойника вашей комнаты, который можно наложить на ваше реальное пространство с помощью AR, а затем отредактировать в цифровом виде… [3/12] pic.twitter.com/3Nu1ph0aXz

— Расс Машмайер (@StrangeNative) 13 июля 2022 г.

Машмайер рассказывает о том, как они его создали, и о некоторых трудностях, с которыми им пришлось столкнуться.

RoomPlan выводит нетекстурированную модель USDZ, состоящую из единичных кубов; по одному для каждой двери, окна, стены и объекта, определяющего комнату, но, сюрприз! Модели не содержат напольных или потолочных элементов. Совмещаем модель с реальным миром с помощью ARWorldMap.

Поскольку RoomPlan экспортирует нетекстурированные модели, мы изучили способы автоматического текстурирования. Лучшим способом было бы локализовать и сопоставить текстуру при захвате, но мы обходимся выровненной моделью и трансляцией с камеры в реальном времени.

Мы перевернули графический конвейер: вместо сэмплирования из текстуры и записи на экран мы сэмплируем с камеры и записываем в текстуру. RealityKit усложнил задачу, поэтому вместо этого мы использовали SceneKit.

Этот подход создает проблемы, когда мебель закрывает поверхность. На видео над нашим диваном заслоняла стена. RoomPlan предоставляет ссылки на ограничивающие рамки для объектов, определяющих комнату. Благодаря этому мы можем определить, какие части текстуры нужно отредактировать.

Теперь мы можем использовать технику рисования, чтобы заполнить отредактированную текстуру. Мы были приятно удивлены результатами, полученными с помощью готовых инструментов, таких как Photoshop и theinpaint.com.

AR и #RoomPlan — отличные инструменты для коммерции. Возможность выбирать и удалять реальные объекты из сцены приближает нас на один шаг к полностью редактируемой реальности.

Я большой поклонник покупок в дополненной реальности, дающих хорошее представление о том, как что-то будет выглядеть в вашем доме, без таких варварских действий, как личное посещение магазина. Что вы думаете? Пожалуйста, поделитесь своими мыслями в комментариях.