Компания xAI открыла исходный код Grok

Рубрика Искусственный интеллектОпубликовано 20 марта, 2024

Компания xAI, основанная Илоном Маском, открыла исходный код большой языковой модели Grok-1, которая используется в AI чат-боте социальной сети X (Twitter).

Набор весовых коэффициентов и архитектура нейронной сети опубликованы на GitHub под лицензией Apache 2.0, что позволяет использовать его в коммерческих целях.

Базовая модель Grok-1 получена на этапе предварительного обучения, который завершился в октябре 2023 года. Она обучена на большом объеме текстовых данных, который охватывает около 314 миллиардов параметров и не настроена для каких-либо конкретных задач.

Стоит отметить, что компания xAI проводила ряд оценок Grok-1 с использованием нескольких стандартных тестов машинного обучения, предназначенных для измерения математических способностей и способностей к рассуждению.

Оценки Grok-1 с использованием нескольких стандартных тестов машинного обучения
Оценки Grok-1 с использованием нескольких стандартных тестов машинного обучения
  • GSM8k: Задачи по математике для средней школы.
  • MMLU: Междисциплинарные вопросы с множественным выбором.
  • HumanEval: задачи завершения кода Python
  • MATH: задачи по математике для средней и старшей школы, написанные в LaTeX.

В этих тестах Grok-1 показал хорошие результаты, превзойдя другие модели в своем вычислительном классе, включая ChatGPT-3.5 и Inflection-1.

Его превзошли только те модели, которые были обучены с использованием значительно большего объема обучающих данных и вычислительных ресурсов, такие как GPT-4.

Скачать Grok-1 можно с помощью торрент-клиента по magnet ссылке (296 ГБ).

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Последние новости

Ecosia запускает новый веб-браузер
На основе проекта Chromium.
15 часов назад
Proton приобретает приложение заметок Standard Notes
Текущие подписки и цены обещают сохранить.
4 дня назад
Delta и другие эмуляторы в App Store
iGBA, PPSSPP, Emu64 XL и Bimmy.
5 дней назад
YouTube ужесточает меры в отношении сторонних приложений
Это затронет приложения блокирующие рекламу.
7 дней назад
Система Orphus