Skip to main content

ИИ улучшит несколько основных приложений с помощью функций обобщения и транскрипции

Операционные системы Apple следующего поколения будут включать Project Greymatter, который принесет множество улучшений, связанных с искусственным интеллектом. У нас есть новые подробности о функциях искусственного интеллекта, запланированных для Siri, «Заметки» и «Сообщения».

После широко распространенных заявлений и сообщений об улучшениях, связанных с искусственным интеллектом, в iOS 18, получил дополнительную информацию о планах Apple в области искусственного интеллекта.

Люди, знакомые с этим вопросом, рассказали, что компания проводит внутреннее тестирование множества новых функций, связанных с искусственным интеллектом, в преддверии ежегодного WWDC. Усовершенствования ИИ компании, известные под кодовым названием проекта «Greymatter», будут сосредоточены на практической выгоде для конечного пользователя.

В предварительных версиях операционных систем Apple компания работала над функцией обобщения уведомлений, известной как «Greymatter Catch Up». Эта функция привязана к Siri, а это означает, что пользователи смогут запрашивать и получать обзор своих последних уведомлений через виртуального помощника.

Ожидается, что Siri получит значительно обновленные возможности генерации ответов благодаря новой системе интеллектуальных ответов, а также LLM от Apple на устройстве. При создании ответов и сводок Siri сможет учитывать такие объекты, как люди и компании, события календаря, места, даты и многое другое.

В наших предыдущих отчетах о Safari 18, Ajax LLM и обновленном приложении Voice Memos сообщил, что Apple планирует внедрить суммирование и транскрипцию текста на основе искусственного интеллекта в свои встроенные приложения. Позже мы узнали, что компания намерена внедрить эти функции и в Siri.

В конечном итоге это означает, что Siri сможет отвечать на запросы на устройстве, создавать краткое изложение длинных статей или расшифровывать аудио, как в обновленных приложениях «Заметки» или «Диктофонные заметки». Все это можно будет сделать с помощью Ajax LLM или облачной обработки для более сложных задач.

Нам также сообщили, что Apple тестирует улучшенные и «более естественные» голоса, а также улучшения преобразования текста в речь, что в конечном итоге должно привести к значительному улучшению пользовательского опыта.

Apple также работает над управлением мультимедиа и ТВ для Siri на разных устройствах. Эта функция позволит кому-то, например, использовать Siri на своих Apple Watch для воспроизведения музыки на другом устройстве, хотя эта функция появится не раньше 2024 года.

Компания решила внедрить искусственный интеллект в несколько своих основных системных приложений, учитывая различные варианты использования и задачи. Одна из примечательных областей улучшений связана с редактированием фотографий.

Apple разработала генеративное программное обеспечение для искусственного интеллекта для улучшения редактирования изображений

Ожидается, что iOS 18 и macOS 15 предоставят возможности редактирования фотографий на основе искусственного интеллекта в таких приложениях, как «Фотографии». Внутри Apple разработала новую функцию «Очистка», которая позволит пользователям удалять объекты с изображений с помощью генеративного программного обеспечения искусственного интеллекта.

Маленькая собачка в бандане в горошек сидит на поводке и смотрит в сторону в огороженном дворе.

Инструмент «Очистка» заменит текущий инструмент ретуши Apple.

Также связанная с Project Greymatter компания создала приложение для внутреннего использования, известное под названием «Generative Playground». Люди, знакомые с приложением, рассказали исключительно AppleInsider, что оно может использовать генеративное программное обеспечение Apple для создания и редактирования изображений и что оно поддерживает интеграцию с iMessage в виде специального расширения приложения.

В тестовых средах Apple можно создать изображение с помощью искусственного интеллекта, а затем отправить его через iMessage. Есть признаки того, что компания планирует реализовать аналогичную функцию для конечных пользователей своих операционных систем.

Эта информация согласуется с другим отчетом, в котором утверждается, что пользователи смогут использовать ИИ для создания уникальных смайлов, хотя существуют дополнительные возможности для функций генерации изображений.

По словам людей, знакомых с этим вопросом, предварительные версии приложения Notes от Apple также содержат ссылки на инструмент генерации, хотя неясно, будет ли этот инструмент генерировать текст или изображения, как в случае с приложением Generative Playground.

Заметки будут транскрибироваться и резюмироваться с помощью искусственного интеллекта вместе с математическими заметками.

Apple подготовила значительные улучшения для своего встроенного приложения Notes, которое дебютирует в iOS 18 и macOS 15. Обновленные Notes получат поддержку записи звука в приложении, транскрипции звука и обобщения на основе LLM.

Экран iPhone с функцией записи голосовых заметок и текстом «Голосовые заметки iOS 18» на сером фоне.

Приложение Notes в iOS 18 будет поддерживать запись звука, транскрипцию и обобщение внутри приложения.

Аудиозаписи, транскрипции и текстовые изложения будут доступны в одной заметке вместе с любыми другими материалами, которые пользователи пожелают добавить. Это означает, что одна заметка может, например, содержать запись всей лекции или встречи, дополненную изображениями на доске и текстом.

Эти функции превратят Notes в настоящий мощный инструмент, сделав его популярным приложением как для студентов, так и для бизнес-профессионалов. Добавление функций аудиотранскрипции и обобщения также позволит приложению Apple Notes лучше позиционировать себя на фоне конкурирующих предложений, таких как Microsoft OneNote или Otter.

Хотя поддержка записи звука на уровне приложения, а также функции транскрипции и обобщения звука на базе искусственного интеллекта значительно улучшат приложение Notes, это не единственное, над чем Apple работает.

Math Notes — создавайте графики и решайте уравнения с помощью искусственного интеллекта.

Приложение Notes получит совершенно новое дополнение в виде Math Notes, которое обеспечит поддержку правильных математических обозначений и обеспечит интеграцию с новым приложением Apple GreyParrot Calculator. Теперь у нас есть дополнительная информация о том, что повлекут за собой математические заметки.

На двух смартфонах отображаются приложения для заметок и калькулятора с желтым значком в центре.  На первом экране показан интерфейс записи звука;  на втором изображен калькулятор с числом 64.

В приложении «Заметки» для iOS 18 появится поддержка транскрипции звука с помощью искусственного интеллекта и математических заметок.

Люди, знакомые с новой функцией, рассказали, что Math Notes позволит приложению распознавать текст в форме математических уравнений и предлагать их решения. Поддержка графических выражений также находится в разработке, а это означает, что мы можем увидеть что-то похожее на приложение Grapher в macOS, но в Notes.

Apple также работает над улучшениями ввода, связанными с математикой, в форме функции, известной как «Математические прогнозы с клавиатуры». сообщили, что эта функция позволит завершать математические выражения всякий раз, когда они распознаются как ввод части текста.

Это означает, что в Notes пользователи получат возможность автоматически заполнять свои математические уравнения аналогично тому, как Apple в настоящее время предлагает интеллектуальное текстовое или встроенное завершение на iOS, которые, как ожидается, также появятся в VisionOS позже в этом году.

VisionOS от Apple также увидит улучшенную интеграцию с Transformer LM от Apple — моделью интеллектуального ввода текста, которая предлагает подсказки по мере ввода. Ожидается, что операционная система также получит переработанный пользовательский интерфейс голосовых команд, который служит индикатором того, насколько Apple ценит улучшения, связанные с вводом.

Компания также стремится улучшить ввод данных пользователем за счет использования так называемых «умных ответов», которые будут доступны в «Сообщениях», «Почте» и Siri. Это позволит пользователям отвечать на сообщения или электронные письма с помощью базовых текстовых ответов, мгновенно генерируемых встроенной в устройство Apple Ajax LLM.

ИИ Apple против Google Gemini и других сторонних продуктов

Искусственный интеллект проник практически во все приложения и устройства. Использование продуктов, ориентированных на искусственный интеллект, таких как ChatGPT от OpenAI и Google Gemini, также привело к значительному увеличению общей популярности.

Синие и белые линии сходятся в центре, образуя ромбовидную форму вверху и слово «Близнецы» внизу.

Google Gemini — популярный инструмент искусственного интеллекта

Хотя Apple разработала собственное программное обеспечение для искусственного интеллекта, чтобы лучше позиционировать себя на фоне конкурентов, ИИ компании далеко не так впечатляет, как что-то вроде Google Gemini Advanced, как стало известно AppleInsider.

Во время своей ежегодной конференции разработчиков Google I/O 14 мая компания Google продемонстрировала интересный вариант использования искусственного интеллекта: пользователи могут задать вопрос в видеоформе и получить ответ или предложение, сгенерированный ИИ.

В рамках мероприятия искусственному интеллекту Google показали видео сломанного проигрывателя и спросили, почему он не работает. Программное обеспечение определило модель проигрывателя и предположило, что проигрыватель, возможно, неправильно сбалансирован и из-за этого он не работает.

Компания также анонсировала Google Veo — программное обеспечение, способное генерировать видео с помощью искусственного интеллекта. OpenAI также имеет собственную модель генерации видео, известную как Sora.

Проект Greymatter от Apple и Ajax LLM не могут генерировать или обрабатывать видео, а это означает, что программное обеспечение компании не может отвечать на сложные видеовопросы о потребительских товарах. Вероятно, именно поэтому Apple стремилась сотрудничать с такими компаниями, как Google и OpenAI, чтобы заключить лицензионное соглашение и сделать больше функций доступными для своей пользовательской базы.

Ярко-оранжевый цифровой гаджет с экраном, показывающим время 1:09, зарядом батареи на 98 % и двумя кнопками сбоку.

Apple будет конкурировать с такими продуктами, как Rabbit R1, предлагая вертикально интегрированное программное обеспечение для искусственного интеллекта на уже существующем оборудовании.

По сравнению с физическими продуктами на тему искусственного интеллекта, такими как Humane AI Pin или Rabbit R1, проекты Apple по искусственному интеллекту имеют значительное преимущество, поскольку они работают на устройствах, которыми уже владеют пользователи. Это означает, что пользователям не придется приобретать специальное ИИ-устройство, чтобы воспользоваться преимуществами искусственного интеллекта.

AI Pin от Humane и Rabbit R1 также обычно считаются незавершенными или частично функциональными продуктами, а последний даже оказался не более чем специальным приложением для Android.

Ожидается, что проекты Apple, связанные с искусственным интеллектом, дебютируют на ежегодной конференции WWDC компании 10 июня в рамках iOS 18 и macOS 15. Также в разработке находятся обновления приложений Calendar, Freeform и System Settings.