Локальное выполнение больших языковых моделей (LLM) на вашем телефоне Android означает, что вы можете получить доступ к этим моделям ИИ, не полагаясь на облачные серверы или подключение к Интернету . Эта локальная настройка обеспечивает конфиденциальность, сохраняя ваши данные в безопасности и на устройстве. Благодаря развитию мобильного оборудования локальный запуск моделей ИИ стал реальностью. Приложение MLC Chat позволяет легко опробовать эту мощную технологию прямо на вашем телефоне.
В этой статье объясняется важность локального запуска LLM на телефонах Android, а также приводятся пошаговые инструкции по их установке и запуску с помощью приложения MLC Chat.
Зачем запускать LLM на телефоне Android?
LLM обычно запускаются на облачных серверах, поскольку требуют значительной вычислительной мощности. Хотя телефоны Android имеют определенные ограничения при работе с LLM, они также открывают некоторые интересные возможности.
Пошаговое руководство по установке и запуску MLC Chat на Android
Приложение MLC Chat разработано для того, чтобы пользователи могли запускать и взаимодействовать с большими языковыми моделями (LLM) локально на различных устройствах, включая мобильные телефоны, не прибегая к облачным сервисам. Чтобы запустить LLM локально на вашем Android-устройстве, выполните следующие действия.
Шаг 1: Установите приложение MLC Chat
Сначала вам необходимо загрузить APK для приложения MLC Chat (112 МБ) по ссылке ниже.
После загрузки APK нажмите на файл, чтобы начать установку.
Шаг 2: Загрузите LLM
После успешной установки приложения откройте его, и вы увидите список степеней LLM, доступных для загрузки. Доступны модели различных размеров и возможностей, такие как LLama-3.2, Phi-3.5 и Mistral. Выберите модель в соответствии с вашими потребностями и нажмите на значок загрузки рядом с ней, чтобы начать загрузку. Например, если вы используете телефон среднего класса, такой как Redmi Note 10, выберите облегченную модель, например Qwen-2.5, для более плавной работы.
Шаг 3: Запустите установленный LLM
После загрузки модели рядом с ней появится значок чата. Нажмите на значок, чтобы начать моделирование.
Как только модель будет готова, вы можете начать вводить подсказки и взаимодействовать с местным LLM.
Например, на таком устройстве, как Redmi Note 10, запуск меньшей модели, такой как Qwen2.5, обеспечивает довольно плавную работу, генерируя около 1,4 токенов в секунду. Хотя эта производительность ниже, чем у высококлассных устройств, таких как Galaxy S23 Ultra , она по-прежнему отлично подходит для базовых задач, таких как короткие чаты и создание простого контента.
Локальный запуск LLM на устройствах Android через приложение MLC Chat обеспечивает доступный и защищенный от несанкционированного доступа способ взаимодействия с моделями ИИ. Производительность во многом зависит от аппаратного обеспечения телефона. Это решение идеально подходит для пользователей, которым необходим автономный доступ к моделям ИИ, тестирование LLM в режиме реального времени или которые обеспокоены конфиденциальностью. По мере совершенствования мобильного оборудования возможности локального LLM будут только расширяться, что делает его перспективным рубежом для технологий искусственного интеллекта.
Ваш дорогой Samsung Galaxy не обязательно должен выглядеть точь-в-точь как все остальные телефоны на рынке. С помощью нескольких изменений вы можете сделать его более индивидуальным, стильным и уникальным.
Устав от iOS, они в конце концов перешли на телефоны Samsung и не жалеют об этом решении.
Изменение DNS на iPhone или изменение DNS на Android поможет вам поддерживать стабильное соединение, увеличить скорость сетевого соединения и получить доступ к заблокированным веб-сайтам.
Многие не ожидали, что самая слабая камера на их телефоне станет секретным оружием творческой фотографии.
Благодаря приложениям с функцией автоклика. Вам не придётся прилагать много усилий, играя в игры, используя приложения или выполняя задачи, доступные на устройстве.
В зависимости от ваших потребностей вы, скорее всего, получите набор эксклюзивных функций Pixel, работающих на вашем существующем Android-устройстве.
Исправление проблемы не обязательно подразумевает удаление любимых фотографий или приложений; One UI включает несколько опций, которые позволяют легко освободить место.
Большинство из нас относится к зарядному порту смартфона так, будто его единственная задача — поддерживать заряд аккумулятора. Но этот маленький порт гораздо мощнее, чем кажется.
Если вы устали от универсальных советов, которые никогда не работают, вот несколько советов, которые незаметно изменили ваш подход к фотосъемке.
Если вы ищете новый смартфон, первым делом вы, естественно, смотрите на его характеристики. Они содержат много информации о производительности, времени автономной работы и качестве дисплея.
Приложение Emojimix создаст уникальные эмодзи по вашим пожеланиям, смешав 2 эмодзи вместе, чтобы создать эмодзи, которого вы никогда раньше не видели.
Проверьте функцию «Цифровое благополучие» на своем телефоне Samsung и узнайте, сколько времени вы тратите на телефон в течение дня!
Приложение «Ложный звонок» поможет вам совершать звонки с вашего собственного телефона, чтобы избежать неловких и нежелательных ситуаций.
Новое приложение Locket Widget теперь доступно и для Android, поскольку ранее пользователи iOS получили возможность использовать Locket Widget на iPhone.
Несмотря на тесную экосистему Apple, некоторые люди превратили свои телефоны Android в надежные пульты дистанционного управления для Apple TV.
Ваш дорогой Samsung Galaxy не обязательно должен выглядеть точь-в-точь как все остальные телефоны на рынке. С помощью нескольких изменений вы можете сделать его более индивидуальным, стильным и уникальным.
Устав от iOS, они в конце концов перешли на телефоны Samsung и не жалеют об этом решении.
Веб-интерфейс учётной записи Apple в браузере позволяет просматривать личную информацию, изменять настройки, управлять подписками и многое другое. Но иногда по разным причинам войти в систему не удаётся.
Изменение DNS на iPhone или изменение DNS на Android поможет вам поддерживать стабильное соединение, увеличить скорость сетевого соединения и получить доступ к заблокированным веб-сайтам.
Если функция «Локатор» становится неточной или ненадежной, примените несколько настроек, чтобы сделать ее более точной, когда это больше всего нужно.
Многие не ожидали, что самая слабая камера на их телефоне станет секретным оружием творческой фотографии.
Near Field Communication — это беспроводная технология, которая позволяет устройствам обмениваться данными, находясь на близком расстоянии друг от друга, обычно в пределах нескольких сантиметров.
Apple представила технологию Adaptive Power, которая работает совместно с режимом энергосбережения. Оба режима продлевают время работы iPhone от аккумулятора, но работают они совершенно по-разному.
Благодаря приложениям с функцией автоклика. Вам не придётся прилагать много усилий, играя в игры, используя приложения или выполняя задачи, доступные на устройстве.
В зависимости от ваших потребностей вы, скорее всего, получите набор эксклюзивных функций Pixel, работающих на вашем существующем Android-устройстве.
Исправление проблемы не обязательно подразумевает удаление любимых фотографий или приложений; One UI включает несколько опций, которые позволяют легко освободить место.
Большинство из нас относится к зарядному порту смартфона так, будто его единственная задача — поддерживать заряд аккумулятора. Но этот маленький порт гораздо мощнее, чем кажется.
Если вы устали от универсальных советов, которые никогда не работают, вот несколько советов, которые незаметно изменили ваш подход к фотосъемке.
Если вы ищете новый смартфон, первым делом вы, естественно, смотрите на его характеристики. Они содержат много информации о производительности, времени автономной работы и качестве дисплея.
При установке приложения на iPhone из другого источника вам потребуется вручную подтвердить, что приложение является доверенным. После этого приложение будет установлено на ваш iPhone для использования.
