В преддверии дебюта iOS 18 на WWDC в июне Apple выпустила семейство моделей больших языков с открытым исходным кодом. Apple называет их OpenELM: семейство Открыть-источник Ээффективный лязык Ммодели.
В ходе тестирования Apple заявляет, что OpenELM предлагает производительность, аналогичную другим моделям открытого языка, но с меньшим количеством обучающих данных.
Apple объясняет:
С этой целью мы выпускаем OpenELM, современную модель открытого языка. OpenELM использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого уровня модели трансформатора, что приводит к повышению точности. Например, при бюджете параметров примерно в один миллиард параметров OpenELM демонстрирует улучшение точности на 2,36% по сравнению с OLMo, при этом требуя в 2 раза меньше токенов предварительного обучения.
В отличие от прежних практик, которые предоставляют только веса модели и код вывода, а также предварительное обучение на частных наборах данных, наша версия включает в себя полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и предварительные конфигурации обучения. Мы также выпускаем код для преобразования моделей в библиотеку MLX для вывода и точной настройки на устройствах Apple. Этот всеобъемлющий выпуск призван расширить возможности и укрепить сообщество открытых исследований, прокладывая путь для будущих открытых исследовательских усилий.
Более подробную информацию вы можете найти по ссылкам ниже:
iOS 18 будет включать в себя набор новых функций искусственного интеллекта, и сегодняшний выпуск OpenELM — это лишь последняя часть готовящейся закулисной работы Apple.
Блумберг На прошлой неделе сообщалось, что функции искусственного интеллекта iOS 18 будут основаны на модели большого языка, полностью встроенной в устройство, что обеспечит преимущества конфиденциальности и скорости.
: Потоки, ТвиттерИнстаграм и .
