Opera One Developer: Встроенные локальные LLM

Opera One Developer — это тестовая сборка браузера, которая даёт возможность попробовать и оценить новые экспериментальные функции.

В новой версии браузера добавили раннюю поддержку 150 локальных вариантов LLM (большая языковая модель) из примерно 50 семейств моделей. Среди них вы найдете: Llama, Vicuna, Gemma от Google, Mixtral от Mistral AI и многие другие.

Локальные LLM отличаются тем, что позволяют обрабатывать запросы непосредственно на вашем компьютере, без необходимости отправлять запросы на сервер. Однако для каждой локальной LLM вам потребуется от 2 до 10 ГБ дискового пространства.

Кроме того, локальная LLM, скорее всего, будет значительно медленнее, чем серверная, поскольку напрямую зависит от вычислительных возможностей вашего оборудования.

Как использовать локальную LLM в Opera?

• Откройте боковую панель Aria Chat.
• В верхней части чата появится раскрывающийся список с надписью «Choose local mode».
  • Нажмите → Go to settings.
• Здесь вы найдёте доступные модели.
  • Загрузите → GEMMA:2B-INSTRUCT-Q4_K_M (одну из самых маленьких и быстрых моделей) нажав кнопку загрузки справа.
• После завершения загрузки нажмите кнопку меню в левом верхнем углу и начните новый чат.
• В верхней части чата появится раскрывающийся список с надписью «Choose local mode».
• Выберите модель, которую вы скачали и задайте ей любой вопрос.

Скачать Opera One Developer