Skip to main content

Apple GPT на iPhone |  Изображение большой библиотеки в стиле Apple

Еще в мае мы узнали, что Apple уже использует собственного чат-бота с искусственным интеллектом, которого некоторые окрестили Apple GPT. Новая исследовательская работа, похоже, направлена ​​на то, чтобы обеспечить возможность работы системы в стиле ChatGPT на iPhone.

Во второй статье Apple AI рассматриваются способы создания анимированных 3D-аватаров из стандартного видео с очевидным применением к Vision Pro…

VentureBeat заметил эти бумаги.

«Яблоко GPT»

Один из чат-ботов называется LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью.

Слово «флэш» в названии — это игра слов, поскольку речь идет о минимизации объема данных, которые необходимо перенести из флэш-накопителя в оперативную память. LLM — это общий термин для чат-систем искусственного интеллекта, обученных работе с большими объемами текста.

LLM [have] интенсивные требования к вычислительным ресурсам и памяти [that] создают проблемы, особенно для устройств с ограниченной емкостью DRAM. В этой статье решается задача эффективного запуска LLM, превышающих доступную емкость DRAM, путем сохранения параметров модели во флэш-памяти, но переноса их по требованию в DRAM. Наш метод включает в себя построение модели стоимости вывода, которая гармонирует с поведением флэш-памяти, что позволяет нам оптимизировать две важные области: уменьшение объема данных, передаваемых из флэш-памяти, и чтение данных более крупными и смежными фрагментами.

Такой подход позволяет LLM работать до 25 раз быстрее на устройствах с ограниченным объемом оперативной памяти. Исследователи заключают:

Этот прорыв особенно важен для внедрения передовых программ LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность.

Созданы анимированные 3D-аватары из «плоского» видео.

Если вы хотите снимать пространственное видео для просмотра в 3D на Vision Pro, вторая бета-версия iOS 17.2 позволяет сделать это на вашем iPhone.

Но у всех нас есть масса «плоских» (монокулярных) видео, и вторая статья Apple по искусственному интеллекту описывает метод превращения 2D-видео в анимированные 3D-аватары.

В документе говорится, что обычно, если вы хотите создать реалистичный 3D-аватар, требуется установка нескольких камер для съемки отснятого материала под разными углами и объединения его в 3D-модель. Apple добилась здесь метода, позволяющего сделать это на основе очень короткого фрагмента стандартной видеозаписи.

Статья носит глубоко технический характер, даже ее аннотация и выводы изобилуют аббревиатурами, но суть в том, что метод Apple примерно в сто раз быстрее, чем существующие способы достижения того же результата.

Наш метод снимает только монокулярное видео с небольшим количеством (50-100) кадров и автоматически учится распутывать статическую сцену и полностью анимируемый человеческий аватар за 30 минут.

У него есть очевидные приложения для Vision Pro, но он также позволяет использовать такие вещи, как виртуальная одежда, примеряемая на ваш iPhone, позволяя вам создать свой 3D-аватар, а затем посмотреть, как вы будете выглядеть в различных предметах одежды.

Когда что-либо из этого будет выпущено, это совсем другой вопрос: еще в августе Куо заявил, что пока «нет никаких признаков» того, что компания запустит своего собственного чат-бота с искусственным интеллектом в 2024 году.

Фото: Макс Лангелотт/Unsplash