Opera One Developer: Встроенные локальные LLM

Рубрика НовостиОпубликовано 3 апреля, 2024

Opera One Developer — это тестовая сборка браузера, которая даёт возможность попробовать и оценить новые экспериментальные функции.

В новой версии браузера добавили раннюю поддержку 150 локальных вариантов LLM (большая языковая модель) из примерно 50 семейств моделей. Среди них вы найдете: Llama, Vicuna, Gemma от Google, Mixtral от Mistral AI и многие другие.

Поддержка 150 локальных вариантов LLM
Поддержка 150 локальных вариантов LLM

Локальные LLM отличаются тем, что позволяют обрабатывать запросы непосредственно на вашем компьютере, без необходимости отправлять запросы на сервер. Однако для каждой локальной LLM вам потребуется от 2 до 10 ГБ дискового пространства.

Кроме того, локальная LLM, скорее всего, будет значительно медленнее, чем серверная, поскольку напрямую зависит от вычислительных возможностей вашего оборудования.

Как использовать локальную LLM в Opera?

Как использовать локальную LLM в Opera?
Как использовать локальную LLM в Opera?
  • Откройте боковую панель Aria Chat.
  • В верхней части чата появится раскрывающийся список с надписью «Choose local mode».
    • Нажмите → Go to settings.
  • Здесь вы найдёте доступные модели.
    • Загрузите → GEMMA:2B-INSTRUCT-Q4_K_M (одну из самых маленьких и быстрых моделей) нажав кнопку загрузки справа.
  • После завершения загрузки нажмите кнопку меню в левом верхнем углу и начните новый чат.
  • В верхней части чата появится раскрывающийся список с надписью «Choose local mode».
  • Выберите модель, которую вы скачали и задайте ей любой вопрос.

Скачать Opera One Developer

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Последние новости

Ecosia запускает новый веб-браузер
На основе проекта Chromium.
14 часов назад
Proton приобретает приложение заметок Standard Notes
Текущие подписки и цены обещают сохранить.
4 дня назад
Delta и другие эмуляторы в App Store
iGBA, PPSSPP, Emu64 XL и Bimmy.
5 дней назад
YouTube ужесточает меры в отношении сторонних приложений
Это затронет приложения блокирующие рекламу.
7 дней назад
Система Orphus