Компания xAI открыла исходный код Grok

Компания xAI, основанная Илоном Маском, открыла исходный код большой языковой модели Grok-1, которая используется в AI чат-боте социальной сети X (Twitter).

Набор весовых коэффициентов и архитектура нейронной сети опубликованы на GitHub под лицензией Apache 2.0, что позволяет использовать его в коммерческих целях.

Базовая модель Grok-1 получена на этапе предварительного обучения, который завершился в октябре 2023 года. Она обучена на большом объеме текстовых данных, который охватывает около 314 миллиардов параметров и не настроена для каких-либо конкретных задач.

Стоит отметить, что компания xAI проводила ряд оценок Grok-1 с использованием нескольких стандартных тестов машинного обучения, предназначенных для измерения математических способностей и способностей к рассуждению.

• GSM8k: Задачи по математике для средней школы.
• MMLU: Междисциплинарные вопросы с множественным выбором.
• HumanEval: задачи завершения кода Python
• MATH: задачи по математике для средней и старшей школы, написанные в LaTeX.

В этих тестах Grok-1 показал хорошие результаты, превзойдя другие модели в своем вычислительном классе, включая ChatGPT-3.5 и Inflection-1.

Его превзошли только те модели, которые были обучены с использованием значительно большего объема обучающих данных и вычислительных ресурсов, такие как GPT-4.

Скачать Grok-1 можно с помощью торрент-клиента по magnet ссылке (296 ГБ).