Apple представляет разработчикам Vision каркас обнаружения тела и позы для разработчиков

Apple обновляет свою платформу Vision в iOS 14 и macOS Big Sur, чтобы позволить разработчикам обнаруживать позы тела и рук или жесты в своих приложениях.

Как отмечалось в видео, обновления инфраструктуры Vision позволят приложениям анализировать жесты, движения или конкретные позы человеческого тела или руки.

Apple приводит ряд примеров того, как разработчики могут использовать эту возможность.

Это включает в себя фитнес-приложение, которое может автоматически отслеживать упражнение, выполняемое пользователем, приложение для редактирования мультимедиа, которое может находить фотографии или видеоклипы на основе поз в них, или приложение безопасности, которое может помочь обучить сотрудников правильной эргономической позе.

Приложение для обнаружения жестов рук может также открыть пользователям больше возможностей для взаимодействия со сторонними приложениями.

Собственный Apple Бретт Китинг продемонстрировал проверенное на практике приложение, которое позволяло пользователю «рисовать» в приложении для iPhone жестом пальца, не касаясь дисплея.

Компания отмечает, что Vision может обнаружить несколько рук тел в кадре, но система может столкнуться с проблемами с людьми, носящими перчатки или одежду, похожую на мантию, а также с определенными позами, такими как люди, наклоняющиеся или переворачивающие голову вверх.

Хотя ARKit от Apple предлагает аналогичные аналитические возможности, они ограничены сеансами дополненной реальности с использованием камеры заднего вида. Однако обновления Vision могут потенциально использоваться в любом приложении.

Apple предприняла шаги для поддержки развития систем машинного обучения и компьютерного зрения на своих платформах.