Робот, управляемый Apple Vision Pro [Nvidia]
Новый сервис управления от Nvidia позволит разработчикам работать над проектами, включающими гуманоидных роботов, управление и мониторинг которых будет осуществляться с помощью Apple Vision Pro.
Разработка человекоподобных роботов сопряжена со многими трудностями, одной из которых является характер управления высокотехнологичными устройствами. Чтобы помочь в этой области, Nvidia предоставила ряд инструментов для моделирования роботов, включая некоторые, помогающие в управлении.
Набор моделей и платформ, предоставленный компанией Nvidia крупным производителям роботов и разработчикам программного обеспечения, призван помочь в обучении нового поколения человекоподобных роботов.
Коллекция инструментов включает в себя то, что Nvidia называет микросервисами и фреймворками NIM, предназначенными для моделирования и обучения. Также есть служба оркестровки Nvidia OSMO для работы с многоступенчатыми рабочими нагрузками робототехники, а также рабочие процессы с поддержкой ИИ и моделирования телеопераций.
В рамках этих рабочих процессов можно использовать гарнитуры и устройства пространственных вычислений, такие как Apple Vision Pro, не только для просмотра данных, но и для управления оборудованием.
«Следующая волна ИИ — это робототехника, и одно из самых захватывающих достижений — гуманоидные роботы», — сказал генеральный директор и основатель Nvidia Дженсен Хуанг. «Мы развиваем весь стек робототехники NVIDIA, открывая доступ разработчикам гуманоидов и компаниям по всему миру к использованию платформ, библиотек ускорения и моделей ИИ, наиболее подходящих для их нужд».
Управление Apple Vision Pro
Микросервисы NIM — это готовые контейнеры, которые используют программное обеспечение вывода Nvidia, призванное сократить время развертывания. Два из этих микросервисов предназначены для помощи разработчикам в рабочих процессах моделирования для генеративного физического ИИ в Nvidia Isaac SIM, эталонном приложении.
Один из них, микросервис MimicGen NIM, в основном используется для помощи пользователям в управлении оборудованием с помощью Apple Vision Pro или другого устройства пространственных вычислений. Он генерирует синтетические данные о движении для робота на основе «записанных телеуправляемых данных», а именно, транслируя движения от Apple Vision Pro в движения, которые должен выполнить робот.
Видео и изображения показывают, что это больше, чем просто перемещение камеры на основе движений гарнитуры. Показано, что движения рук и жесты также записываются и используются на основе датчиков Apple Vision Pro.
По сути, пользователи могли наблюдать за движениями робота и напрямую управлять его руками и ногами, используя Apple Vision Pro.
В то время как такие гуманоидные роботы могли бы попытаться точно имитировать жесты, такие системы, как Nvidias, могли бы вместо этого предположить, что пользователь хочет сделать. Поскольку у пользователей нет тактильной обратной связи для того, что держит робот, может быть слишком опасно напрямую имитировать движения рук.
Другой рабочий процесс телеоперации, продемонстрированный на Siggraph, также позволил разработчикам создавать большие объемы данных о движении и восприятии. Все они были созданы из небольшого количества демонстраций, снятых удаленно человеком.
Для этих демонстраций Apple Vision Pro использовался для захвата движений рук человека. Затем они использовались для имитации записей с помощью микросервиса MimicGen NIM и Nvidia Isaac Sim, который генерировал синтетические наборы данных.
Разработчики затем смогли обучить гуманоидную модель Project Groot с помощью комбинации реальных и синтетических данных. Считается, что этот процесс поможет сократить расходы и время, затрачиваемое на создание данных в первую очередь.
«Разработка человекоподобных роботов — чрезвычайно сложная задача, требующая невероятного количества реальных данных, которые с трудом собираются в реальном мире», — говорит генеральный директор компании Fourier, производителя робототехнических платформ. «Новые инструменты моделирования и генеративного ИИ от NVIDIA помогут нам запустить и ускорить рабочие процессы разработки моделей».
Микросервисы, а также доступ к моделям, управляемый сервис робототехники OSMO и другие фреймворки предлагаются в рамках программы Nvidia Humanoid Robot Developer Program. Компания предоставляет доступ только производителям гуманоидного программного обеспечения, оборудования или роботов.
