Skip to main content

Новое исследование показывает, что у Apple есть практические решения технических проблем искусственного интеллекта, которые другие компании, похоже, игнорируют, в частности, как использовать огромные языковые модули на устройствах с небольшим объемом памяти, таких как iPhone.

Несмотря на заявления о том, что Apple отстает от отрасли в области генеративного искусственного интеллекта, компания уже дважды заявляла, что продолжает осуществлять долгосрочное планирование, а не спешить с выпуском клона ChatGPT. Первым знаком стала исследовательская работа, в которой предлагалась система искусственного интеллекта под названием HUGS, которая генерирует цифровые аватары людей.

Теперь, как заметил VentureBeat, вторая исследовательская работа предлагает решения для развертывания огромных языковых модулей (LLM) на устройствах с ограниченной оперативной памятью, таких как iPhone.

Новая статья называется «LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью». Apple заявляет, что «решает задачу эффективного запуска LLM, превышающих доступную емкость DRAM, сохраняя параметры модели во флэш-памяти, но перенося их по требованию в DRAM».

Таким образом, весь LLM по-прежнему необходимо хранить на устройстве, но работать с ним в оперативной памяти можно, работая с флэш-памятью как с своего рода виртуальной памятью, мало чем отличаясь от того, как это делается в macOS для задач с интенсивным использованием памяти.

«В рамках этой концепции, основанной на флэш-памяти, мы представляем два основных метода», — говорится в исследовательской статье. «Во-первых, «оконность» стратегически сокращает передачу данных за счет повторного использования ранее активированных нейронов… а во-вторых, «объединение строк и столбцов», адаптированное к возможностям последовательного доступа к данным во флэш-памяти, увеличивает размер фрагментов данных, считываемых из флэш-памяти. »

В конечном итоге это означает, что LLM практически любого размера можно развернуть на устройствах с ограниченной памятью или хранилищем. Это означает, что Apple может использовать функции искусственного интеллекта на большем количестве устройств и, следовательно, разными способами.

Фрагмент исследовательской работы, показывающий более быстрое чтение LLM из флэш-памяти.

«Практические результаты нашего исследования заслуживают внимания», — говорится в исследовательской статье. «Мы продемонстрировали способность запускать LLM размером в два раза больше доступного DRAM, достигая ускорения скорости вывода в 4–5 раз по сравнению с традиционными методами загрузки в ЦП и в 20–25 раз в графическом процессоре».

«Этот прорыв особенно важен для внедрения передовых программ LLM в средах с ограниченными ресурсами», продолжает он, «тем самым расширяя их применимость и доступность».

Apple обнародовала это исследование, как и статью HUGS. Таким образом, вместо того, чтобы отставать, компания на самом деле работает над улучшением возможностей искусственного интеллекта для всей отрасли.

Это соответствует мнению аналитиков, которые, учитывая базу пользователей Apple, полагают, что компания получит наибольшую выгоду от дальнейшего распространения ИИ.