Глава Apple по искусственному интеллекту (AI) говорит, что Apple использует машинное обучение почти во всех аспектах нашего взаимодействия с нашими устройствами, но это еще не все.
Джон Джаннандреа говорит, что перешел из Google в Apple, потому что потенциал машинного обучения (ML) для воздействия на жизнь людей в компании из Купертино намного больше …
Apple использует машинное обучение сегодня
Джаннандреа поговорил с Сэмюэлем Аксоном из ArsTechnica, рассказав, как Apple использует ML сейчас.
На основе машинного обучения появилось множество новых возможностей. И это такие вещи, как языковой перевод, или диктовка на устройстве, или наши новые функции, касающиеся здоровья, такие как сон и мытье рук, и все, что мы выпускали в прошлом для здоровья сердца и тому подобное. Я думаю, что в iOS становится все меньше и меньше мест, где мы не используем машинное обучение.
Трудно найти часть опыта, в которой вы не делаете каких-либо предсказаний. [work], Например, прогнозы приложений, прогнозы с клавиатуры или современные камеры смартфонов проводят за кулисами массу машинного обучения, чтобы выяснить, что они называют «заметностью», то есть какова самая важная часть картины? Или, если вы представляете размытие фона, вы используете портретный режим […]
Опытные владельцы iPhone могут также заметить, что за способностью приложения «Фото» автоматически сортировать изображения по заранее созданным галереям стоит машинное обучение или точно предоставлять вам фотографии друга по имени Джейн, когда ее имя вводится в поле поиска приложения. […]
Наиболее [augmented reality] функции стали возможными благодаря машинному обучению […]
Борчерс также указал на функции доступности в качестве важных примеров. «Благодаря этому они становятся доступными и возможными», — сказал он. «Такие вещи, как возможность обнаружения звука, которая меняет правила игры для этого конкретного сообщества, возможна благодаря инвестициям с течением времени и встроенным возможностям» […]
Все эти вещи выигрывают от основных функций машинного обучения, встроенных в основную платформу Apple. Так что это почти как «Найди мне что-нибудь, где мы не используем машинное обучение».
Однако его удивили области, в которых Apple не использовала машинное обучение до того, как он присоединился к компании.
«Когда я пришел в Apple, я уже был пользователем iPad, и мне очень понравился Pencil», — сказал мне Джаннандреа (которого коллеги называют «JG»). «Итак, я бы выследил команды разработчиков программного обеспечения и сказал бы:« Хорошо, а где группа машинного обучения, которая работает над почерком? » И я не мог его найти ». Оказалось, что команды, которую он искал, не существовало — это было неожиданностью, сказал он, учитывая, что машинное обучение — один из лучших инструментов, доступных сегодня для этой функции.
«Я знал, что Apple должна делать так много машинного обучения, что было удивительно, что на самом деле не все было сделано».
Однако это изменилось и будет меняться дальше.
«Ситуация резко изменилась за последние два-три года», — сказал он. «Я действительно искренне думаю, что в iOS или Apple нет такого уголка, который не изменился бы машинным обучением в ближайшие несколько лет».
Подход, ориентированный на конфиденциальность, действительно лучше
Долгое время считалось, что ориентация Apple на конфиденциальность — желание делать все на устройстве и не анализировать огромные объемы личных данных — означает, что она не может конкурировать с Google, потому что не может извлечь выгоду из массивов данных, полученных из миллионов пользователи. Джаннандреа говорит, что это абсолютно не так.
Я понимаю, что такое восприятие более крупных моделей в центрах обработки данных в некотором роде более точное, но на самом деле это неверно. На самом деле это технически неправильно. Лучше запустить модель рядом с данными, чем перемещать данные.
Другими словами, вы получите лучшие результаты, когда модель машинного обучения будет учиться на вашем использовании вашего устройства, чем когда она полагается на агрегированные данные миллионов пользователей. Локальная обработка также может использоваться в ситуациях, когда просто нереально отправить данные на сервер, например, при выборе точного момента, когда вы нажимаете кнопку спуска затвора приложения «Камера» для получения наилучшего кадра.
Что насчет будущего?
Понятно, что Джаннандреа не стал бы интересоваться тем, над чем сейчас работает Apple, но привел один пример того, что может быть возможно, если объединить мощь Apple Silicon Mac с машинным обучением.
Представьте себе видеоредактор, в котором у вас есть окно поиска, и вы можете сказать: «Найди мне пиццу на столе». И он просто переместится к этому кадру.
