Локальное выполнение больших языковых моделей (LLM) на вашем телефоне Android означает, что вы можете получить доступ к этим моделям ИИ, не полагаясь на облачные серверы или подключение к Интернету . Эта локальная настройка обеспечивает конфиденциальность, сохраняя ваши данные в безопасности и на устройстве. Благодаря развитию мобильного оборудования локальный запуск моделей ИИ стал реальностью. Приложение MLC Chat позволяет легко опробовать эту мощную технологию прямо на вашем телефоне.
В этой статье объясняется важность локального запуска LLM на телефонах Android, а также приводятся пошаговые инструкции по их установке и запуску с помощью приложения MLC Chat.
Зачем запускать LLM на телефоне Android?
LLM обычно запускаются на облачных серверах, поскольку требуют значительной вычислительной мощности. Хотя телефоны Android имеют определенные ограничения при работе с LLM, они также открывают некоторые интересные возможности.
Пошаговое руководство по установке и запуску MLC Chat на Android
Приложение MLC Chat разработано для того, чтобы пользователи могли запускать и взаимодействовать с большими языковыми моделями (LLM) локально на различных устройствах, включая мобильные телефоны, не прибегая к облачным сервисам. Чтобы запустить LLM локально на вашем Android-устройстве, выполните следующие действия.
Шаг 1: Установите приложение MLC Chat
Сначала вам необходимо загрузить APK для приложения MLC Chat (112 МБ) по ссылке ниже.
После загрузки APK нажмите на файл, чтобы начать установку.
Шаг 2: Загрузите LLM
После успешной установки приложения откройте его, и вы увидите список степеней LLM, доступных для загрузки. Доступны модели различных размеров и возможностей, такие как LLama-3.2, Phi-3.5 и Mistral. Выберите модель в соответствии с вашими потребностями и нажмите на значок загрузки рядом с ней, чтобы начать загрузку. Например, если вы используете телефон среднего класса, такой как Redmi Note 10, выберите облегченную модель, например Qwen-2.5, для более плавной работы.
Шаг 3: Запустите установленный LLM
После загрузки модели рядом с ней появится значок чата. Нажмите на значок, чтобы начать моделирование.
Как только модель будет готова, вы можете начать вводить подсказки и взаимодействовать с местным LLM.
Например, на таком устройстве, как Redmi Note 10, запуск меньшей модели, такой как Qwen2.5, обеспечивает довольно плавную работу, генерируя около 1,4 токенов в секунду. Хотя эта производительность ниже, чем у высококлассных устройств, таких как Galaxy S23 Ultra , она по-прежнему отлично подходит для базовых задач, таких как короткие чаты и создание простого контента.
Локальный запуск LLM на устройствах Android через приложение MLC Chat обеспечивает доступный и защищенный от несанкционированного доступа способ взаимодействия с моделями ИИ. Производительность во многом зависит от аппаратного обеспечения телефона. Это решение идеально подходит для пользователей, которым необходим автономный доступ к моделям ИИ, тестирование LLM в режиме реального времени или которые обеспокоены конфиденциальностью. По мере совершенствования мобильного оборудования возможности локального LLM будут только расширяться, что делает его перспективным рубежом для технологий искусственного интеллекта.
TWRP позволяет пользователям сохранять, устанавливать, создавать резервные копии и восстанавливать прошивки на своих устройствах, не беспокоясь о том, что это повлияет на состояние устройства при получении прав root, перепрошивке или установке новой прошивки на устройствах Android.
В магазине Google Play есть множество альтернативных приложений, помимо стандартной галереи Android. Они предлагают более интересные функции, чем библиотека по умолчанию, такие как подключение к аккаунтам Dropbox или Google Photos и т. д. В зависимости от ваших потребностей и желаний вы можете выбрать следующие приложения.
Важно поработать над изображением, которое вы выбираете для рассмотрения в приложении. Вот почему вам нужно знать, как выглядят ваши скриншоты, чтобы привлечь внимание пользователей и побудить их загрузить их.
Вот некоторые из лучших приложений для подсчета калорий на мобильных платформах Android и iOS.
Чтобы сделать навигацию на мобильном устройстве более удобной, вы можете изменить размер шрифта на Android. Когда текст, шрифты и символы станут более заметными, вы, возможно, захотите увеличить размер клавиатуры Android.
Если вы не разбираетесь в технологиях, вы легко можете запутаться в различных операционных системах, производителях, моделях устройств и технических характеристиках. Одним из примеров является то, что люди считают Samsung и Android синонимами, что не совсем верно.
Если вы пользуетесь телефоном Samsung уже несколько лет, то вы обнаружите, что великолепные функции, предлагаемые линейкой Galaxy, трудно превзойти.
Делать снимки экрана на телефонах Samsung Galaxy также чрезвычайно просто.
В некоторых случаях полезно установить уровень громкости по умолчанию для каждого приложения, например, если вы смотрите видео с помощью приложения Youtube и хотите уменьшить громкость рингтона и сигнала сообщения, чтобы вас не беспокоили.
Попытка полностью удалить и деинсталлировать приложение на Android не всегда так проста, как нажатие кнопки «Удалить». Вместо этого файлы остаются, загромождая систему, но есть способы избавиться от них.
Стандартные приложения камеры на вашем телефоне могут многое, но у них все еще нет более продвинутых инструментов для творческой фотографии. Вот лучшие приложения для фотосъемки на телефон.
В статье ниже Куантриманг расскажет о том, как работает Shelter и как использовать этот инструмент.
Хотя специальные возможности Android разрабатываются с учетом конкретных потребностей, некоторые из них могут быть полезны каждому.
Необходимость одновременного использования нескольких приложений на телефоне для выполнения различных задач иногда может показаться невыполнимой. К счастью, Android предлагает множество функций, которые упрощают многозадачность.
Большинство приложений виртуальной клавиатуры включают функцию вибрационной обратной связи (также известную как «тактильная обратная связь»), которая делает набор текста на сенсорном экране более реалистичным.
Множество различных проблем могут привести к тому, что iPhone перестанет отвечать на запросы или даже не включится. Хорошей новостью является то, что большинство этих проблем можно устранить, не отвозя устройство в сервисный центр.
Протестировав все фотофильтры на своем iPhone, вы в конечном итоге выберете те, которые вам нравятся больше всего. Это лучшие фильтры, которые вы можете использовать для своих фотографий.
Чтобы ограничить загрузку нежелательных приложений на Android, вам следует установить пароль на загрузку приложений на Android.
TWRP позволяет пользователям сохранять, устанавливать, создавать резервные копии и восстанавливать прошивки на своих устройствах, не беспокоясь о том, что это повлияет на состояние устройства при получении прав root, перепрошивке или установке новой прошивки на устройствах Android.
На телефонах Android есть возможность настроить режим блокировки экрана, когда пользователь неактивен. Так как же сохранить экран включенным?
На мероприятиях Apple, посвященных запуску новых продуктов, включая iPhone, iOS, macOS... отметка времени всегда — 9:41.
В магазине Google Play есть множество альтернативных приложений, помимо стандартной галереи Android. Они предлагают более интересные функции, чем библиотека по умолчанию, такие как подключение к аккаунтам Dropbox или Google Photos и т. д. В зависимости от ваших потребностей и желаний вы можете выбрать следующие приложения.
В iOS 18 появилась новая функция, которая упрощает этот процесс и позволяет получать доступ к последним заметкам всего за несколько нажатий.
Функция голосового помощника Google на телефоне очень помогает пользователям в повседневной жизни и работе. Однако это может повлиять на конфиденциальность пользователей.
Вместо того чтобы вручную рассчитывать разницу во времени между городами, вы можете использовать свой iPhone для просмотра нескольких часовых поясов.
Clean Up — это инструмент приложения «Фото» в iOS 18, позволяющий удалять нежелательные объекты с фотографий. Однако иногда он ведет себя странно, размывая лица вместо того, чтобы удалять их.
Новое обновление для iPhone добавляет в приложение «Здоровье» виджет с ночной информацией о состоянии здоровья. Когда вы добавляете виджет на главный экран iPhone, все ваши показатели здоровья регистрируются, пока вы используете Apple Watch.
Знаете ли вы, что ваш iPhone можно использовать в качестве веб-камеры? Такая практика имеет определенные практические преимущества. Если у вас завалялся старый iPhone, использование его в качестве веб-камеры может сэкономить вам значительную сумму денег.
Часто ли вас раздражает, что каждый раз, когда вы включаете 3G на своем Android-смартфоне, приложения конкурируют за уведомление об обновлении, в то время как бюджет мобильной сети передачи данных ограничен?
Как только приложение Passwords обнаружит учетную запись со слабым, уязвимым или раскрытым паролем, оно уведомит вас о статусе этого пароля.
