Одной из очевидных амбиций Apple в области искусственного интеллекта является создание чат-бота на устройстве, который может работать на iPhone, вместо использования серверов для обработки. Это позволит получить доступ к данным, хранящимся на вашем iPhone, а также повысить конфиденциальность…
Nvidia применила тот же подход, создав чат-бота, работающего на ПК с Windows — естественно, оснащенном одним из собственных высокопроизводительных графических процессоров компании.
Apple работает над встроенным чат-ботом для iPhone
В исследовательском документе Apple, опубликованном в конце прошлого года, похоже, указывалось на то, что компания позволяет чат-боту, встроенному в устройство, работать на iPhone.
В статье речь идет о минимизации объема данных, которые необходимо перенести из флэш-накопителя в оперативную память. LLM — это общий термин для чат-систем искусственного интеллекта, обученных работе с большими объемами текста.
Такой подход позволяет LLM работать до 25 раз быстрее на устройствах с ограниченным объемом оперативной памяти.
Хотя в документе не раскрываются какие-либо подробности о планах Apple, появляется все больше признаков того, что iOS 18 станет тем моментом, когда компания наконец выпустит гораздо более мощную версию Siri, используя тип генеративной технологии искусственного интеллекта, получившей название AppleGPT. Следующая версия iOS, которая будет представлена на WWDC в июне, считается самым большим обновлением в истории компании.
Чат-бот Nvidia на устройстве
Nvidia уже создала демо-версию одного чат-бота на устройстве, хотя для этого требуется ПК с Windows и одной из собственных графических карт премиум-класса компании.
Chat With RTX — это демонстрационное приложение, которое позволяет персонализировать модель большого языка GPT (LLM), связанную с вашим собственным контентом — документами, заметками, видео или другими данными. Используя генерацию с расширенным поиском (RAG), TensorRT-LLM и ускорение RTX, вы можете отправлять запросы к пользовательскому чат-боту, чтобы быстро получать контекстуально релевантные ответы. А поскольку все это выполняется локально на вашем ПК или рабочей станции с Windows RTX, вы получите быстрые и безопасные результаты. […]
Чат с RTX поддерживает различные форматы файлов, включая текст, PDF, doc/docx и xml. Просто укажите приложению папку, содержащую ваши файлы, и оно за считанные секунды загрузит их в библиотеку. Кроме того, вы можете указать URL-адрес плейлиста YouTube, и приложение загрузит транскрипции видео в плейлисте, что позволит вам запросить контент, который они охватывают.
Вашему компьютеру с Windows потребуется графический процессор NVIDIA GeForce RTX 30 или 40 серии или графический процессор RTX Ampere или Ada Generation с как минимум 8 ГБ видеопамяти.
ChatGPT, возможно, наконец-то запомнит вас
Что касается других новостей об искусственном интеллекте, ChatGPT получает память – по крайней мере, для небольшого числа пользователей.
Одним из ограничений ChatGPT на сегодняшний день является то, что каждый сеанс выполняется изолированно, то есть он не запоминает ничего, что вы делали в предыдущих сеансах.
OpenAI сейчас тестирует версию, которая может запоминать определенные данные и настройки, чтобы обеспечить более последовательную работу с течением времени.
Мы тестируем память с помощью ChatGPT. Запоминание того, что вы обсуждаете во всех чатах, избавляет вас от необходимости повторять информацию и делает будущие разговоры более полезными.
Вы контролируете память ChatGPT. Вы можете явно приказать ему что-то запомнить, спросить, что он помнит, и приказать ему забыть в диалоговом режиме или через настройки. Вы также можете отключить его полностью […]
Память ChatGPT будет становиться лучше, чем больше вы ее используете, и со временем вы начнете замечать улучшения. Например:
Вы объяснили, что предпочитаете, чтобы в заметках о встречах заголовки, маркеры и действия суммировались внизу. ChatGPT запоминает это и таким образом протоколирует встречи. Вы сообщили ChatGPT, что владеете местной кофейней. При мозговом штурме сообщений для публикации в социальной сети, посвященной новому местоположению, ChatGPT знает, с чего начать. Вы упоминаете, что у вас есть малышка и что она любит медуз. Когда вы просите ChatGPT помочь создать ей поздравительную открытку, он предлагает медузу в праздничном колпаке. Будучи воспитателем детского сада с 25 учениками, вы предпочитаете 50-минутные уроки с последующими занятиями. ChatGPT запоминает это, помогая вам создавать планы уроков.
Компания заявляет, что на этой неделе она тестируется на небольшом количестве пользователей и что после оценки результатов она поделится более широкими планами развертывания.
