Крейг Федериги — ключ к успеху в iPadOS — ключ к успеху Scribble на устройстве

Как показывает интервью с Крейгом Федериги, распознавание рукописного ввода Apple в Apple Pencil основано на распознавании штрихов, в то время как новые функции, такие как Scribble в iPadOS, основаны на огромном объеме встроенной обработки машинного обучения.

Представленный как часть iPadOS 14, Scribble позволяет пользователям заполнять текстовые поля и формы с помощью Apple Pencil без необходимости вводить что-либо. Это достигается за счет выполнения бортовой обработки вместо облачных версий, а также использования машинного обучения для повышения ее точности.

В беседе с Popular Mechanics старший вице-президент Apple по разработке программного обеспечения Крейг Федериги объясняет, как было реализовано распознавание рукописного ввода Apple Pencil. Все началось со «сбора данных», когда людей по всему миру просили записывать.

«Мы даем им Карандаш, и они пишут быстро, мы заставляем их писать медленно, писать под наклоном. Все эти вариации», — сказал Федериги. «Если вы понимаете штрихи и то, как они были нанесены, это может быть использовано для устранения неоднозначности того, что было написано».

Сочетание распознавания штрихов с предсказанием символов и слов также означает, что необходимо выполнить большую обработку. Поскольку скорость имеет существенное значение, это исключает использование облачной обработки распознавания рукописного ввода и вместо этого вынуждает Apple использовать систему, включающую обработку на устройстве.

«Это должно происходить в реальном времени, прямо сейчас, на устройстве, которое вы держите, — настаивает Федериги. — Это означает, что вычислительная мощность устройства должна быть такой, чтобы оно могло выполнять такой уровень обработки локально».

Опыт Apple в дизайне микросхем привел к появлению нового iPad Air 4 с A14 Bionic, самой быстрой SoC собственной разработки Apple, содержащей 11,8 миллиарда транзисторов, 6-ядерный процессор, новую 4-ядерную графическую архитектуру и 16-ядерный Neural Двигатель, способный выполнять до 11 триллионов операций в секунду. Apple даже добавила ускорители машинного обучения на базе ЦП, благодаря которым задачи машинного обучения выполняются в 10 раз быстрее.