Фотографии в iOS 15 могут идентифицировать людей по их верхней части тела

Apple в документе, опубликованном в пятницу, подробно описала, как она использовала достижения машинного обучения, чтобы значительно улучшить распознавание людей в iOS 15, в том числе в ситуациях, когда лицо нечетко видно.

Компания перечисляет «улучшенное распознавание для людей» как новую функцию в версии iOS 15 приложения Photos, хотя на веб-странице мало деталей. Однако новый пост в блоге на сайте машинного обучения Apple показывает, что приложение «Фото» может идентифицировать людей в различных сценариях, в том числе если их лица нечеткие для камеры.

Один из методов, который Apple использует для этого, — сопоставление лиц и верхних частей тела конкретных людей на изображениях.

«Лица часто закрыты или просто не видны, если объект смотрит в сторону от камеры. Чтобы решить эти проблемы, мы также рассматриваем верхнюю часть тела людей на изображении, поскольку они обычно демонстрируют постоянные характеристики, такие как одежда, в определенном контексте. «Эти постоянные характеристики могут дать убедительные подсказки для идентификации человека по изображениям, снятым на расстоянии нескольких минут друг от друга», — пишет Apple.

Компания берет на вход полное изображение, а затем специально идентифицирует обнаруженные лица и верхнюю часть тела. Затем он сопоставляет лица с верхней частью тела, чтобы улучшить индивидуальное распознавание в ситуациях, когда традиционное распознавание лиц было бы невозможно.

Как всегда, механизм использует машинное обучение на устройстве для обеспечения конфиденциальности. Apple также предприняла шаги, чтобы минимизировать потребление памяти и энергии.

«Это последнее улучшение, доступное в приложении Photos под управлением iOS 15, значительно улучшает распознавание людей. Как показано на рисунке 8, с помощью частного машинного обучения на устройстве мы можем правильно распознавать людей с экстремальными позами, аксессуарами или даже закрытыми лицами и использовать комбинацию лица и верхней части тела, чтобы соответствовать людям, чьи лица вообще не видны », — пишет Apple.

Сообщение в блоге содержит гораздо больше подробностей об обучении модели машинного обучения для всех, кого это интересует.