В среду Apple выпустила свой пакет visionOS SDK и инструменты для разработчиков, а также дополнительную информацию о разработке для Apple Vision Pro. Вот обзор того, что это такое, что он может сделать и как начать.
SDK Apple для Apple Vision Pro включен во вторую бета-версию Xcode. Он включает инструменты командной строки для Xcode 15 beta 2, инструменты шрифтов для Xcode 15 beta и среду выполнения симулятора visionOS 1 Beta, которая упакована в виде файла образа диска .dmg.
Чтобы получить новые бета-файлы SDK и Xcode, перейдите на страницу developer.apple.com/download/ и войдите в систему, используя свой Apple ID. Эти инструменты включены в новую бесплатную подписку для разработчиков.
Как установить программное обеспечение разработчика Apple Vision Pro
Вам понадобится загрузка Xcode 15 beta 2, которая содержит само приложение Xcode 15 beta 2, macOS 14 beta 2 и различные симуляторы. Вам также понадобятся инструменты командной строки для Xcode 15 beta 2 и Xcode 15 beta 2, которые также содержат macOS 14 beta 2.
Если вы еще этого не сделали, также загрузите бета-версию Font Tools для Xcode 15 в нижней части страницы, выпущенную 5 июня.
При загрузке Xcode 15 beta 2 обязательно установите флажок visionOS beta 1 в нижней части списка, который весит колоссальные 6,85 ГБ:
Обратите внимание, что во всех случаях вам также нужны компоненты загрузки iOS.
Это обеспечивает то, что Apple до сих пор называет файлом xrOS 1.0.simruntime в файле .dmg, который вы импортируете в Xcode для установки симулятора visionOS (подробнее об этом ниже).
Дополнительные загрузки программного обеспечения для разработчиков Apple Vision Pro
Кривая обучения для visionOS может быть довольно крутой — помимо простого программирования нужно освоить несколько компьютерных дисциплин. К ним относятся трехмерный дизайн объектов и сцен, дополненная реальность (AR), материалы и поверхности, а также освещение и рендеринг.
В дополнение к частям Xcode вы захотите изучить и получить несколько дополнительных элементов, используемых экосистемой Apple AR:
Приложение ARKit 6 RealityKit Reality Composer Плагин AR Quick Look для предварительного просмотра файлов 3D-объектов
Большинство из них доступны на сайте разработчиков Apple по адресу developer.apple.com/augmented-reality/.
Композитор реальности от Apple.
SDK также включает в себя Reality Composer Pro, который был обещан на WWDC 23 в презентациях visionOS. Reality Composer Pro — это приложение, предназначенное для помощи в подготовке и предварительном просмотре 3D-контента для visionOS.
В рамках выпуска SDK Apple также выпустила бета-версию Reality Converter, которая позволяет конвертировать между форматами файлов AR, такими как .obj, .gltf и .usd, и преобразовывать их все в стандартный формат USDZ. Вы также можете изменить некоторые свойства текстуры в бета-версии Reality Converter.
На странице инструментов AR также есть дополнительная загрузка .dmg под названием USDZ Tools, которая представляет собой набор скриптов Python для конвертации в доллары США. Все инструменты дополненной реальности Apple можно найти на главной странице дополненной реальности по адресу developer.apple.com/augmented-reality/tools/.
Плагин AR Quick Look можно найти на странице developer.apple.com/augmented-reality/quick-look/ вместе с примерами.
Теперь, когда все это установлено, вы также можете использовать инструменты 3D-разработки Unity для разработки приложений Apple Vision Pro. Посетите сайт Unity по адресу unity.com.
Apple Vision Pro SDK — файловые и графические форматы
Разработка и написание вашего приложения visionOS — это только одна часть разработки visionOS. Другая часть — освоение 3D-моделей и пространств.
В конце концов, Apple называет Vision Pro гарнитурой дополненной реальности. Таким образом, ваши приложения visionOS представлены пользователю в 3D-пространстве на устройстве Apple Vision Pro.
Вам также необходимо ознакомиться с универсальным описанием сцен Pixar и файлами USDZ, которые содержат описания 3D-объектов. Существует ряд ресурсов, чтобы узнать о файлах USDZ. Например, на сайте разработчиков NVIDIA также есть хорошее обсуждение доллара США.
В большинстве случаев вам потребуется конвертировать 3D-контент в формат USDZ для использования в visionOS.
В дополнение к доллару США вы также захотите изучить стандарт MaterialX от Industrial Light + Magic — универсальный стандарт материалов для 3D-объектов с открытым исходным кодом, впервые созданный в 2017 году для фильма «Звездные войны: Пробуждение силы».
Материалы относятся к поверхностям 3D-объектов и тому, как эти поверхности выглядят. В реальном мире это означает такие материалы, как дерево, металл или стекло, которые они имитируют.
Apple Vision Pro SDK — взаимодействие с пользователем и интерфейс
ВvisionOS поддерживаются четыре режима презентации:
Оконные приложения Volumes Spaces Иммерсивные приложения
Оконные приложения действуют, по сути, как приложения iOS и iPadOS в основном общем пространстве VisionOS, за исключением того, что вы можете отбросить их в сторону — примерно так же, как в macOS с помощью Stage Manager.
visionOS предоставляет четыре типа взаимодействия с пользователем.
Объемы — это в основном сцены SwiftUI, встроенные в оконные приложения, которые отображают объекты RealityKit или Unity 3D в частях окон. Пользователи могут перемещать окна и тома в общем пространстве по своему усмотрению.
Пространства — это иммерсивные «полные пространства», посвященные одному приложению, где может отображаться контент только одного приложения. Внутри полного пространства приложение может отображать окна или 3D-контент, или оно может отображать всю 3D-рендеринговую сцену, такую как игра или симуляция, погружая пользователя в другой мир. Apple называет это «неограниченным 3D-контентом».
Safari работает в оконном режиме в ОС visionOS.
Как разработчик, в visionOS вы можете позволить пользователю переходить между любым из этих состояний и обратно в любое время.
Установка Apple Vision Pro SDK и симулятора
Мы не будем шаг за шагом вникать в то, как установить симулятор visionOS в Xcode, поскольку он уже задокументирован на страницах разработчиков Xcode. Сначала вам нужно установить все из первой бета-версии Xcode 15, упомянутой выше, в частности файл Xcode_15_beta_2.xip, который представляет собой подписанный файл .zip, содержащий бета-приложение Xcode 15.
После установки первой бета-версии Xcode загрузите и установите инструменты командной строки и вторую бета-версию.
Вы должны сделать это в таком порядке, поскольку, если вы используете метод веб-установки (упомянутый ниже), для его работы требуется сначала установить бета-приложение Xcode.
Загрузка симулятора visionOS занимает около 7 ГБ.
Установить симулятор можно несколькими способами:
Установите среды выполнения Simulator с веб-сайта Apple Developer. Установите среду выполнения симулятора во время первого запуска. Установите среду выполнения симулятора из места назначения запуска Xcode. Установите среду выполнения симулятора и управляйте ею в настройках. Установите среду выполнения симулятора и управляйте ею из командной строки.
Первый вариант требует, чтобы вы оставили все загруженные компоненты и файлы манифеста в папке «Загрузки» в вашей пользовательской папке, поскольку Xcode ищет их там. Когда они закончат загрузку, Xcode автоматически установит их из этого места.
Вероятно, лучше всего использовать Safari для этой опции. Для этого вам нужно будет войти на сайт разработчика, используя свой Apple ID.
Второй вариант — установить при первом запуске — работает только при первом запуске Xcode при новой установке. Он спросит вас, какие симуляторы вы хотите установить, и если вы используете бета-версию Xcode 15 на бета-версии macOS 14, эти варианты будут включать симулятор visionOS.
Чтобы установить симулятор вручную из Xcode, перейдите в «Настройки» -> «Платформы». Нажмите кнопку «Получить» рядом с каждым симулятором, который вы хотите установить. Сначала убедитесь, что у вас достаточно места на диске для каждого из них.
Чтобы установить симулятор из командной строки в Терминале, вам сначала нужно запустить Xcode, а при первом появлении запроса установить дополнительные инструменты Xcode. Это устанавливает инструмент командной строки под названием simctl. Вы можете получить больше информации о simctl в Терминале, набрав:
simctl и нажав «Return».
Вы также можете установить инструменты командной строки, загрузив пакет дополнительных инструментов командной строки, упомянутый выше, и запустив установщик Command Line Tools.pkg, содержащийся в .dmg в Finder.
Необходимые команды simctl перечислены на страницах разработчиков Apple Xcode:
xcode-select -s /Applications/Xcode-beta.app
xcodebuild -runFirstLaunch
xcrun simctl runtime добавить «~/Downloads/visionOS_1_beta_Simulator_Runtime.dmg»
Обратите внимание, что для команды xcrun simctl runtime add требуется сам файл симулятора .dmg в папке «Загрузки» для установки симулятора, поэтому не открывайте .dmg напрямую.
Вы также можете установить один или несколько симуляторов, используя более простую команду xcodebuild и либо параметр -downloadAllPlatforms, либо специальный параметр симулятора.
Например, симулятор iOS можно загрузить и установить, введя:
xcodebuild -downloadПлатформа iOS
Apple Vision Pro SDK — начало работы
SDK visionOS похож на различные другие платформы ОС Apple и инструменты разработчика. Основные части, которые вам нужно знать, — это Xcode, SwiftUI, RealityKit, ARKit и TestFlight, а также некоторые инструменты 3D-моделирования.
Есть два основных 3D-представления, которые вы можете использовать в visionOS для 3D-объектов и сцен: ARView и RealityView (который все еще находится в стадии бета-тестирования).
Существует множество других бета-объектов, которые вы захотите проверить, включая Model3d, RealityRenderer, SceneRealityCoordinateSpace и RealityCoordinateSpaceConverting.
Большинство приложений и представлений visionOS создаются с использованием SwiftUI и классов Swift. Некоторые из новых объектов не имеют версий Objective-C.
В любом существующем проекте iOS или iPadOS Xcode вы можете добавить новую цель visionOS в существующий проект или создать совершенно новое приложение, создав новый проект Xcode на основе visionOS из средства выбора шаблона Xcode.
Для этого в Xcode перейдите в «Файл» -> «Создать» -> «Проект» и щелкните значок visionOS в окне выбора шаблона. Нажмите «Далее», назовите проект, задайте его параметры, затем снова нажмите «Далее» и сохраните его на диск, нажав «Создать».
Вы можете добавить новую цель visionOS в существующий проект iOS или iPadOS Xcode, выбрав значок проекта в левой части окна проекта Xcode, затем выбрав имя проекта в разделе «Проект», а затем выбрав «Файл» -> «Создать» -> «Цель» из меню Файл:
Добавьте новую цель.
Когда появится окно выбора шаблона Xcode, выберите visionOS на панели вкладок вверху, как если бы вы создали новый проект. Задайте детали новой цели на следующем листе, затем нажмите кнопку «Готово» — новая цель visionOS будет добавлена в ваш существующий проект Xcode.
Apple Vision Pro SDK — совместимость приложений
Приложения, использующие iOS, iPadOS и visionOS, могут использовать многие, но не все одни и те же технологии. Чтобы перенести ваше приложение на visionOS, вам необходимо сосредоточиться на проверке ваших приложений и преобразовании любых несовместимых частей в совместимые или новые технологии visionOS.
Например, если вы используете Metal в своих приложениях для iOS или iPadOS, вы можете использовать Metal в visionOS, но только в иммерсивном режиме, поскольку Metal полагается на сэмплирование пикселей, и если вы будете использовать его в оконном режиме, Metal может сэмплировать фон пользователя, что может привести к раскрытию информации. конфиденциальную информацию, когда образцы берутся из окружающей среды.
В дополнение к совершенно новым приложениям visionOS, большинство приложений iOS и iPadOS могут быть адаптированы для visionOS. visionOS была разработана таким образом, чтобы упростить портирование существующих приложений.
При разработке для Vision Pro с использованием приложений iOS или ARKit у вас есть несколько вариантов: вы можете увидеть, совместимо ли ваше приложение с visionOS, вы можете заставить ваше существующее приложение работать с visionOS или вы можете создать совершенно новое приложение ARKit, которое работает с VisionОС.
В документацииvisionOS есть раздел под названием Миграция и совместимость с iOS. В этом разделе есть три подраздела:
Проверка совместимости вашего существующего приложения с visionOS Перенос существующих приложений на visionOS Обеспечение совместимости вашего существующего приложения с visionOS
На главной странице документации Apple visionOS размещена большая часть информации, необходимой для начала работы. Я сидел . В нем также есть раздел, посвященный симулятору Xcode visionOS.
В следующей статье мы углубимся в технические аспекты создания приложений visionOS.
Лаборатории разработчиков откроются в июле 2023 г.
Apple также объявила об открытии лабораторий для разработчиков в нескольких крупных городах мира, в которых разработчики смогут тестировать свои приложения на прототипе оборудования Vision Pro на совместимость и надежность. А в июле разработчики могут подать заявку на покупку комплектов разработчика, содержащих оборудование.
В течение следующих девяти месяцев — а может быть, и больше, в зависимости от фактической даты выпуска — мы углубимся в портирование и создание приложений для visionOS, а также в то, что платформа означает для обычных пользователей. Однако на данный момент обширная документация Apple для разработчиков содержит огромное количество нового материала для изучения.
В конце концов, есть причина, по которой Apple анонсировала аппаратное обеспечение на WWDC 2023 года для выпуска 2024 года.
