9 лучших локальных/офлайн программ LLM, которые вы можете попробовать прямо сейчас

Благодаря тому, что квантовые LLM теперь доступны на HuggingFace, а такие экосистемы ИИ, как H20, Text Gen и GPT4All, позволяют загружать веса LLM на ваш компьютер, у вас теперь есть возможность использовать бесплатный, гибкий и безопасный ИИ. Вот 9 лучших локальных/офлайн программ LLM, которые вы можете попробовать прямо сейчас!

Оглавление

• 1. Hermes 2 Pro GPTQ
• 2. Зефир 7Б Бета
• 3. Falcon Instruct GPTQ
• 4. GPT4ALL-J Отличный
• 5. Инструкция по DeepSeek Coder V2
• 6. Микстраль-8x7Б
• 7. Волшебница Викунья без цензуры-GPTQ
• 8. Orca Mini-GPTQ
• 9. Лама 2 13B Чат GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro — это усовершенствованная языковая модель, доработанная Nous Research. Он использует обновленную и сокращенную версию набора данных OpenHermes 2.5, а также недавно представленные наборы данных Function Calling и JSON, разработанные самой компанией. Эта модель основана на архитектуре Mistral 7B и обучена на 1 000 000 инструкций/диалогов качества GPT-4 или выше, в основном на синтетических данных.

Hermes 2 Pro на Mistral 7B — это новая флагманская модель Hermes 7B, предлагающая улучшенную производительность в различных тестах, включая AGIEval, BigBench Reasoning, GPT4All и TruthfulQA. Его расширенные возможности делают его пригодным для многих задач обработки естественного языка (NLP), таких как генерация кода, создание контента и приложения для разговорного ИИ.

2. Зефир 7Б Бета

Zephyr — это серия языковых моделей, обученных выступать в качестве полезных помощников. Zephyr-7B-Beta — вторая модель в серии, усовершенствованная на основе Mistral-7B-v0.1 с использованием прямой оптимизации предпочтений (DPO) на основе общедоступных синтетических наборов данных.

Устранив встроенное выравнивание обучающих наборов данных, Zephyr-7B-Beta демонстрирует улучшенную производительность в таких бенчмарках, как MT-Bench, что повышает его полезность в различных задачах. Однако эта корректировка может привести к проблемной генерации текста при определенных подсказках.

3. Falcon Instruct GPTQ

Эта квантованная версия Falcon основана на архитектуре, включающей только декодер, усовершенствованной на основе исходной модели Falcon-7b компании TII. Базовая модель Falcon обучается с использованием 1,5 триллиона выпущенных токенов, полученных из общедоступного Интернета. Falcon Instruct — это лицензированная модель Apache 2, работающая только на основе командного декодера. Она идеально подходит для малого бизнеса, которому нужна модель для перевода языков и приема данных.

Однако эта версия Falcon не идеальна для тонкой настройки и предназначена только для вывода. Если вы хотите выполнить тонкую настройку Falcon, вам придется использовать сырую модель, для чего может потребоваться доступ к обучающему оборудованию корпоративного уровня, такому как NVIDIA DGX или AMD Instinct AI Accelerators.

4. GPT4ALL-J Отличный

GPT4All-J Groovy — это модель, работающая только в качестве декодера, настроенная Nomic AI и лицензированная по Apache 2.0. GPT4ALL-J Groovy основан на оригинальной модели GPT-J, которая, как известно, отлично подходит для генерации текста из подсказок. GPT4ALL -J Groovy был доработан до диалоговой модели, которая отлично подходит для приложений быстрой и креативной генерации текста. Это делает GPT4All-J Groovy идеальным инструментом для создателей контента, помогающим им в написании и сочинении произведений, будь то поэзия, музыка или рассказы.

К сожалению, базовая модель GPT-J была обучена на наборе данных только на английском языке, а это значит, что даже эта тонко настроенная модель GPT4ALL-J может общаться и выполнять приложения по генерации текста только на английском языке.

5. Инструкция по DeepSeek Coder V2

DeepSeek Coder V2 — это усовершенствованная языковая модель, которая улучшает программирование и математические рассуждения. DeepSeek Coder V2 поддерживает несколько языков программирования и обеспечивает расширенную длину контекста, что делает его универсальным инструментом для разработчиков.

По сравнению со своим предшественником DeepSeek Coder V2 демонстрирует значительные улучшения в задачах, связанных с кодом, рассуждениями и общими возможностями. Он расширяет поддержку языков программирования с 86 до 338 и увеличивает длину контекста с 16 тыс. до 128 тыс. токенов. В тестах производительности он превосходит такие модели, как GPT-4 Turbo, Claude 3 Opus и Gemini 1.5 Pro в криптографических и математических тестах.

6. Микстраль-8x7Б

Mixtral-8x7B — это смесь экспертных моделей (MoE), разработанная Mistral AI. На каждый MLP приходится 8 экспертов, что в общей сложности составляет 45 миллиардов параметров. Однако во время вывода активизируются только два эксперта на токен, что делает его вычислительно эффективным, а скорость и стоимость сопоставимы с моделью с 12 миллиардами параметров.

Mixtral поддерживает длину контекста в 32 тыс. токенов и превосходит Llama 2 на 70 млрд в большинстве тестов, соответствуя или превосходя производительность GPT-3.5. Он свободно работает на нескольких языках, включая английский, французский, немецкий, испанский и итальянский, что делает его универсальным выбором для различных задач НЛП.

7. Волшебница Викунья без цензуры-GPTQ

Wizard-Vicuna GPTQ — это квантовая версия Wizard Vicuna, основанная на модели LlaMA. В отличие от большинства опубликованных LLM, Wizard-Vicuna — это нецензурированная модель, в которой удалена ассоциация. Это означает, что данная модель не соответствует тем же стандартам безопасности и этики, что и большинство других моделей.

Хотя это может создать проблему для контроля выравнивания ИИ, наличие неотцензурированной LLM также позволяет раскрыть лучшие стороны модели, позволяя ей давать ответы без каких-либо ограничений. Это также позволяет пользователям добавлять собственные настройки того, как ИИ должен действовать или реагировать на заданную подсказку.

8. Orca Mini-GPTQ

Хотите протестировать модель, обученную с использованием уникального метода обучения? Orca Mini — это неофициальная реализация исследовательской работы Microsoft Orca. Эта модель обучается с использованием подхода «учитель-ученик», при котором набор данных заполнен объяснениями, а не просто подсказками и ответами. Теоретически это должно сделать студента умнее, поскольку модель сможет понять проблему, а не просто искать пары входных и выходных данных, как это делает обычная LLM.

9. Лама 2 13B Чат GPTQ

Llama 2 является преемником оригинальной модели Llama LLM, предлагая улучшенную производительность и универсальность. Вариант 13B Chat GPTQ настроен для приложений разговорного ИИ, оптимизированных для диалога на английском языке.

Некоторые из перечисленных выше моделей выпускаются в нескольких версиях с точки зрения технических характеристик. В целом, версии с более высокими характеристиками дают лучшие результаты, но требуют более мощного оборудования, в то время как версии с более низкими характеристиками дают результаты более низкого качества, но могут работать на более слабом оборудовании. Если вы не уверены, подойдет ли эта модель для вашего ПК, сначала попробуйте версию с более низкими характеристиками, а затем продолжайте, пока не почувствуете, что падение производительности больше не приемлемо.