Apple планирует добавить рисование и рисование в Apple Vision Pro

Станьте виртуальным Бобом Россом или Моне с помощью новой технологии Apple.

Если вы когда-нибудь хотели дать волю своему внутреннему Бобу Россу, возможно, вскоре вы сможете создавать свои собственные счастливые случаи в Apple Vision Pro.

Недавно мы сообщали о слухах о том, что Apple Pencil тестируется для дополненной и виртуальной реальности, но похоже, что компания надеется в конечном итоге полностью отказаться от стилуса.

Световые излучатели, встроенные в стилус, позволят системе AR отслеживать с высокой точностью.

Предлагаемая Apple технология основана на двух патентах, позволяющих пользователям рисовать в дополненной реальности. Пользователи смогут рисовать на виртуальном холсте. Однако эта технология также позволяет создавать произведения искусства в реальном мире, где произведения искусства могут накладываться на реальные элементы.

Хотите добавить шляпу и птиц в реальный мир? Наденьте гарнитуру и начните рисовать.

Первая заявка на патент «Система ввода на основе стилуса для устройства, крепящегося на голове», описывает именно то, что предполагали слухи: Apple работает над использованием стилуса для взаимодействия с виртуальным миром.

Хотя Apple Pencil кажется естественным выбором в качестве устройства ввода, в патенте описывается новое устройство с излучателем света (вероятно, инфракрасным), позволяющим гарнитуре отслеживать положение и ориентацию устройства.

Второй патент «Методы рисования в среде компьютерной реальности» идет еще дальше.

На этой иллюстрации показан план Apple по отслеживанию руки пользователя. Сведите пальцы, как будто держите кисть, и один из них появится поверх вашей руки. Переключите инструменты, и Apple Vision Pro изменит отображение того, что вы держите в руках.

Вам даже не понадобится кисть, чтобы создавать произведения искусства с помощью технологий Apple.

Хотя в приложении это не упоминалось, добавить жесты для разных медиа будет легко. Вы можете виртуально распылять краску, используя жесты, держа баллончик и нажимая кнопку, или работать с краской пальцами, вытягивая пальцы.

Apple хочет создать виртуальную симуляцию рабочего процесса художника с уникальными жестами для выбора цвета. С помощью этой технологии вы можете выбирать и смешивать цвета, перевернув одну руку и «окунув» виртуальную кисть в виртуальную краску. Этот опыт имитировал бы художников, держащих палитру с краской в ​​одной руке и кисть в другой.

Рисование в трехмерном пространстве не уникально. Любой, у кого есть гарнитура, такая как Quest, может использовать Tilt Brush или другие художественные программы для создания виртуальных произведений искусства.

Однако эти программы используют контроллеры и в лучшем случае неудобны. Нажатие кнопки не является естественным способом рисования или рисования, и контроллеры мешают этому.

Создавайте произведения искусства у себя на ладони, в буквальном и виртуальном смысле.

В дополнение к виртуальной живописи патент Apple предполагает, что звуковая обратная связь может позволить пользователю слышать мазки кисти или линии карандаша на бумаге. Подобный иммерсивный опыт может изменить создание произведений искусства в AR/VR.

Звуковую обратную связь также можно использовать для занятий виртуальными уроками искусства. Наденьте гарнитуру, слушайте успокаивающую музыку и следуйте подсказкам инструктора по рисованию. Результатом может стать урок рисования в гарнитуре.

Мы можем представить это в сочетании с другими патентами Apple на AR/VR, которые позволят нескольким пользователям просматривать и взаимодействовать с одними и теми же виртуальными объектами, даже если они находятся в разных местах. Например, вы можете пойти на урок к реальному инструктору и рисовать вместе с ним на одном виртуальном холсте.

Как и в случае со всеми патентными заявками, нет никакой гарантии, что эти технологии появятся в ближайшее время или даже когда-либо. Но в сочетании со слухами о том, что Apple тестирует Apple Pencil в Apple Vision Pro, можно с уверенностью сказать, что некоторые из этих технологий будут доступны очень скоро, возможно, уже на WWDC 2024.

Патент Apple на использование стилуса для ввода принадлежит Киллиану Муру, ведущему заявителю многочисленных патентов на AR/VR, поданных Apple. Патент на рисование в AR/VR был создан Эдвином Искандером, старшим менеджером VisionOS компании Apple.