Apple только что пересмотрела свою целевую страницу по специальным возможностям, чтобы лучше выделить встроенные функции в macOS и iOS, которые позволяют устройствам пользователей «работать так, как вы», и побудить всех «сделать что-то прекрасное». Теперь в новом интервью с инженерами Apple по специальным возможностям и AI / ML более подробно рассказывается о подходе компании к улучшению доступности с помощью iOS 14.
Инженер по специальным возможностям iOS Крис Флейзач и член команды AI / ML Джефф Бигхэм рассказали TechCrunch о том, как Apple думала о развитии специальных возможностей с iOS 13 до 14 и как необходимо сотрудничество для достижения этих целей.
Одним из самых больших улучшений iOS 14 этой осенью, когда дело касается доступности, является новая функция распознавания экрана. Он выходит за рамки VoiceOver, который теперь использует «интеллект на устройстве для распознавания элементов на экране, чтобы улучшить поддержку VoiceOver для приложений и работы в Интернете».
Вот как Apple описывает распознавание экрана:
Функция распознавания экрана автоматически определяет элементы управления интерфейсом, чтобы облегчить навигацию по приложениям.
Распознавание экрана также работает с «интеллектом на устройстве, чтобы обнаруживать и идентифицировать важные звуки, такие как сигналы тревоги, и предупреждать вас о них с помощью уведомлений».
Вот как Флейзач из Apple описывает подход Apple к улучшению доступности с iOS 14, а также скорость и точность, которые обеспечивает распознавание экрана:
«Мы искали области, в которых мы можем повысить доступность, например описания изображений», — сказал Флейзак. «В iOS 13 мы автоматически помечаем значки — функция распознавания экрана делает еще один шаг вперед. Мы можем смотреть на пиксели на экране и определять иерархию объектов, с которыми вы можете взаимодействовать, и все это происходит на устройстве за десятые доли секунды ».
Бигхэм отмечает, насколько важным было сотрудничество между командами Apple, чтобы выйти за рамки возможностей VoiceOver с функцией распознавания экрана:
«VoiceOver долгое время был стандартом в области доступности систем зрения. Если вы посмотрите на этапы разработки Screen Recognition, то увидите, что это было основано на сотрудничестве между командами — доступность повсюду, наши партнеры в сборе данных и аннотации, AI / ML и, конечно же, в дизайне. Мы сделали это для того, чтобы наши разработки в области машинного обучения продолжали способствовать повышению качества обслуживания пользователей », — сказал Бигхэм.
И работа эта была трудоемкой:
Это было сделано путем создания тысяч скриншотов популярных приложений и игр, а затем вручную пометить их как один из нескольких стандартных элементов пользовательского интерфейса. Эти помеченные данные были переданы в систему машинного обучения, которая вскоре научилась самостоятельно выделять те же элементы.
TechCrunch говорит, что пока не ожидайте, что функция распознавания экрана появится на Mac, так как это будет серьезным мероприятием. Тем не менее, с новыми Mac Apple, оснащенными пользовательской SoC M1 компании, у них есть 16-ядерный Neural Engine, который, безусловно, будет справляться с этой задачей — всякий раз, когда Apple решает расширить эту функцию доступности.
Ознакомьтесь с полным интервью здесь и на новой целевой странице Apple по специальным возможностям. И посмотрите разговор о доступности между Мэтью Панзарино из TC, Крисом Флейзачем и Сарой Херрлингер из Apple.
