Портретный режим на iPhone SE опирается только на машинное обучение

Новый iPhone SE от Apple является первым — и пока единственным — компанией iPhone, который полностью полагается на машинное обучение для оценки глубины портретного режима.

IPhone SE может создавать карты глубины из одного 2D-изображения с помощью машинного обучения. Кредит: галоид

IPhone SE, выпущенный в апреле, похоже, в значительной степени является копией iPhone 8, вплоть до монокулярной камеры с одним объективом. Но под капотом для оценки глубины происходит гораздо больше, чем для любого другого iPhone до него.

Согласно сообщению в блоге от создателей приложения для камеры Halide, iPhone SE является первым в линейке Apple, который использует «Оценку глубины монокулярного изображения одного изображения». Это означает, что это первый iPhone, который может создать эффект размытия портрета, используя только одно 2D-изображение.

В прошлых iPhone для портретного режима требовалось как минимум две камеры. Это потому, что лучший источник информации о глубине уже давно сравнивает два изображения из двух разных мест. Как только система сравнивает эти изображения, она может отделить объект фотографии от фона, что позволяет получить размытый эффект или эффект боке.

В iPhone XR это изменилось, введя поддержку «портретного режима» с помощью сенсорных «пикселей фокуса», которые могут создавать приблизительную карту глубины. Но в то время как новый iPhone SE имеет фокусные пиксели, его старое оборудование не имеет необходимого покрытия для целей картирования глубины.

«Новый iPhone SE не может использовать фокусные пиксели, потому что его старый датчик не имеет достаточного покрытия», — пишет Бен Сандофски из Halide. Срыв iFixit показал в понедельник, что датчик камеры iPhone SE в основном взаимозаменяем с iPhone 8.

Вместо этого iPhone начального уровня создает карты глубины исключительно посредством машинного обучения. Это также означает, что он может создавать фотографии в портретном режиме как с передней, так и с задней камеры. Это то, что, несомненно, стало возможным благодаря первоклассному чипсету A13 Bionic, расположенному под капотом.

Галид отмечает, что информация о глубине не идеальна, но это впечатляющее достижение, учитывая относительные аппаратные ограничения трехлетней камеры с одним сенсором. Точно так же Портретный режим на iPhone SE работает только на людях, но Halide говорит, что новая версия его приложения позволяет использовать эффекты боке для нечеловеческих объектов на iPhone SE.