Как установить и запустить LLM локально на телефоне Android

Локальное выполнение больших языковых моделей (LLM) на вашем телефоне Android означает, что вы можете получить доступ к этим моделям ИИ, не полагаясь на облачные серверы или подключение к Интернету . Эта локальная настройка обеспечивает конфиденциальность, сохраняя ваши данные в безопасности и на устройстве. Благодаря развитию мобильного оборудования локальный запуск моделей ИИ стал реальностью. Приложение MLC Chat позволяет легко опробовать эту мощную технологию прямо на вашем телефоне.

В этой статье объясняется важность локального запуска LLM на телефонах Android, а также приводятся пошаговые инструкции по их установке и запуску с помощью приложения MLC Chat.

Зачем запускать LLM на телефоне Android?

LLM обычно запускаются на облачных серверах, поскольку требуют значительной вычислительной мощности. Хотя телефоны Android имеют определенные ограничения при работе с LLM, они также открывают некоторые интересные возможности.

• Улучшенная конфиденциальность : поскольку все вычисления происходят на вашем телефоне, ваши данные остаются локальными, что важно для любой конфиденциальной информации, которой вы делитесь.
• Автономный доступ : для доступа к этим моделям или взаимодействия с ними не требуется постоянного подключения к Интернету. Это особенно полезно для пользователей в отдаленных районах или там, где ограничено подключение к Интернету.
• Экономическая эффективность : запуск LLM на облачных серверах влечет за собой эксплуатационные расходы, такие как облачное хранилище и вычислительная мощность. Этот метод обеспечивает экономически эффективное решение для пользователей.

Пошаговое руководство по установке и запуску MLC Chat на Android

Приложение MLC Chat разработано для того, чтобы пользователи могли запускать и взаимодействовать с большими языковыми моделями (LLM) локально на различных устройствах, включая мобильные телефоны, не прибегая к облачным сервисам. Чтобы запустить LLM локально на вашем Android-устройстве, выполните следующие действия.

Шаг 1: Установите приложение MLC Chat

Сначала вам необходимо загрузить APK для приложения MLC Chat (112 МБ) по ссылке ниже.

APK-файл приложения MLC Chat

После загрузки APK нажмите на файл, чтобы начать установку.

Шаг 2: Загрузите LLM

После успешной установки приложения откройте его, и вы увидите список степеней LLM, доступных для загрузки. Доступны модели различных размеров и возможностей, такие как LLama-3.2, Phi-3.5 и Mistral. Выберите модель в соответствии с вашими потребностями и нажмите на значок загрузки рядом с ней, чтобы начать загрузку. Например, если вы используете телефон среднего класса, такой как Redmi Note 10, выберите облегченную модель, например Qwen-2.5, для более плавной работы.

Шаг 3: Запустите установленный LLM

После загрузки модели рядом с ней появится значок чата. Нажмите на значок, чтобы начать моделирование.

Как только модель будет готова, вы можете начать вводить подсказки и взаимодействовать с местным LLM.

Например, на таком устройстве, как Redmi Note 10, запуск меньшей модели, такой как Qwen2.5, обеспечивает довольно плавную работу, генерируя около 1,4 токенов в секунду. Хотя эта производительность ниже, чем у высококлассных устройств, таких как Galaxy S23 Ultra , она по-прежнему отлично подходит для базовых задач, таких как короткие чаты и создание простого контента.

Локальный запуск LLM на устройствах Android через приложение MLC Chat обеспечивает доступный и защищенный от несанкционированного доступа способ взаимодействия с моделями ИИ. Производительность во многом зависит от аппаратного обеспечения телефона. Это решение идеально подходит для пользователей, которым необходим автономный доступ к моделям ИИ, тестирование LLM в режиме реального времени или которые обеспокоены конфиденциальностью. По мере совершенствования мобильного оборудования возможности локального LLM будут только расширяться, что делает его перспективным рубежом для технологий искусственного интеллекта.