Сети глубокого обучения можно использовать для плавного применения художественных стилей в фотографиях

Apple разрабатывает системы глубокого машинного обучения, которые могут плавно применять художественные стили к изображениям или видеопоследовательностям, снятым на iPhone, вероятно, в качестве будущей функции в Фото.

Технический гигант из Купертино и раньше подавал заявки на патенты в области машинного обучения, включая методы, применяемые к разрозненным системам, таким как данные GPS или анализ жестов в воздухе. Теперь, похоже, Apple занимается стилистическим редактированием видео.

В патенте, выданном Apple 29 сентября под названием «Регулировка ограничений временной согласованности для стиля видео в реальном времени», компания описывает систему, которая может применять художественные стили, извлеченные из одного или нескольких изображений, к одному или нескольким целевым изображениям.

В патенте отмечается, что пользователи могут захотеть применить к изображениям или видео более сложные и технически сложные художественные стили — эффекты, выходящие за рамки простых фильтров, использующих машинное обучение для применения значения к каждому пикселю. В частности, Apple фокусируется на использовании искусственного интеллекта, чтобы «наполнить« сущностью »определенного художественного стиля» изображение или видео.

Кредит: Apple

Однако этот тип обработки изображений невозможен на портативном устройстве в режиме реального времени из-за тепловых ограничений и ограничений обработки, а также ошибок в процессе передачи стиля. Чтобы исправить это, Apple описывает методы использования глубоких нейронных сетей (DNN) и других методов машинного обучения.

«Художественный стиль может быть применен к полученным изображениям и / или видеопоследовательности изображений с использованием различных методов оптимизации, таких как использование скаляров для управления разрешением нестилизованных и стилизованных изображений, ограничений временной согласованности, а также использование — динамически настраиваемые или выбираемые версии Deep Neural Networks (DNN), которые реагируют на параметры производительности системы, такие как доступные ресурсы обработки и тепловая мощность », — говорится в патенте.

В одном сценарии патент утверждает, что система может анализировать аппаратные и программные ограничения устройства, чтобы разумно определить, какие DNN следует использовать для стилизации изображения или последовательности изображений. Если процесс передачи со временем усложняется, система может плавно переключиться на другую версию DNN, чтобы продолжить процесс без каких-либо сбоев.

В качестве другого примера в патенте отмечается, что систему можно обучить обрабатывать определенный тип входного изображения независимо от других изображений в последовательности. При практическом использовании это может привести к появлению ползунка, который пользователи могут настроить для увеличения или уменьшения временной согласованности.

В патенте в качестве изобретателей указаны Франческо Росси и Бартломей В. Рымковски. Оба раньше работали над патентами Apple, хотя касались только схожего художественного стиля и глубоко нейтральных сетевых систем.