3 лучших новых функции модели Meta AI Llama 4

В начале апреля 2025 года Meta запустила Llama 4 — новейшую серию моделей искусственного интеллекта, призванную вывести компанию на новый уровень. Каждая новая модель Llama 4 имеет существенные улучшения по сравнению со своими предшественниками, и вот некоторые из самых выдающихся новых функций, которые стоит опробовать.

3. Архитектура смешанной экспертной группы (MoE)

Одной из самых примечательных особенностей моделей Llama 4 является новая архитектура MoE, впервые применяемая в серии Llama, в которой используется иной подход, чем в предыдущих моделях. В новой архитектуре для каждого токена активируется лишь небольшая часть параметров модели, в отличие от традиционных плотных моделей трансформаторов, таких как Llama 3 и ниже, где все параметры активируются для каждой задачи.

Например, Llama 4 Maverick использует только 17 миллиардов активных параметров из 400 миллиардов, имея 128 маршрутизируемых экспертов и одного общего эксперта. Llama 4 Scout, самая маленькая модель в серии, имеет в общей сложности 109 миллиардов параметров, активируя только 17 миллиардов при помощи 16 экспертов.

Самая большая версия трио, Llama 4 Behemoth, использует 288 миллиардов активных параметров (с 16 экспертами) из общего числа почти двух триллионов параметров. Благодаря этой новой архитектуре на каждую задачу назначаются только два специалиста.

Благодаря архитектурным изменениям модели серии Llama 4 с��али более эффективными с точки зрения вычислений во время обучения и вывода. Включение лишь небольшой части параметров снижает стоимость обслуживания и задержку. Meta утверждает, что благодаря архитектуре MoE Llama может работать на одном графическом процессоре Nvidia H100, что является впечатляющим достижением, учитывая количество параметров. Хотя конкретных метрик нет, считается, что каждый запрос к ChatGPT использует несколько графических процессоров Nvidia, что приводит к большим накладным расходам практически по всем измеряемым метрикам.

2. Собственные возможности мультимодальной обработки

Еще одним важным обновлением моделей искусственного интеллекта Llama 4 является встроенная мультимодальная обработка, благодаря которой все три устройства могут одновременно понимать текст и изображения.

Это стало возможным благодаря комбинации, выполненной на начальном этапе обучения, где текстовые и визуальные токены были объединены в единую архитектуру. Модели обучаются с использованием больших объемов немаркированных текстовых, графических и видеоданных.

Лучше уже некуда. Если вы помните, обновление Meta Llama 3.2 , выпущенное в сентябре 2024 года, представило ряд новых моделей (всего 10), включая 5 мультимодальных моделей зрения и 5 текстовых моделей. Благодаря встроенным возможностям мультимодальной обработки в этом поколении компании нет необходимости выпускать отдельные текстовые и визуальные модели.

Кроме того, Llama 4 использует улучшенный визуальный кодер, позволяющий моделям справляться со сложными задачами визуального вывода и обрабатывать входные данные из нескольких изображений, что делает их пригодными для работы с приложениями, требующими расширенного понимания текста и изображений. Мультимодальная обработка также позволяет использовать модели LLama 4 в различных приложениях.

1. Лучшее в отрасли контекстное окно

Модели искусственного интеллекта Llama 4 обладают беспрецедентным контекстным окном — до 10 миллионов токенов. Хотя на момент публикации Llama 4 Behemoth все еще находилась в стадии разработки, Llama 4 Scout установила новый отраслевой стандарт, поскольку поддерживает до 10 миллионов токенов в длине контекста, что позволяет вводить текст длиной более 5 миллионов слов.

Такая расширенная длина контекста представляет собой значительное увеличение по сравнению с 8 тыс. токенов Llama 3 при ее первом запуске и даже с последующим расширением до 128 тыс. после обновления Llama 3.2. И интересна не только длина контекста Llama 4 Scout в 10 миллионов; Даже Llama 4 Maverick с его длиной в миллион контекстов является впечатляющим достижением.

Llama 3.2 в настоящее время является одним из лучших чат-ботов на основе искусственного интеллекта для длительных бесед. Однако расширенное контекстное окно Llama 4 выводит Llama на первое место, превосходя предыдущее контекстное окно Gemini в 2 миллиона токенов, 200 тысяч Claude 3.7 Sonnet и 128 тысяч GPT-4.5.

Благодаря большому контекстному окну серия Llama 4 может справляться с задачами, требующими ввода огромных объемов информации. Такое большое окно полезно для таких задач, как анализ длинных, множественных документов, подробный анализ больших баз кода и рассуждения на основе больших наборов данных.

Это также позволяет Llama 4 поддерживать длительные разговоры, в отличие от предыдущих моделей Llama и моделей других компаний, занимающихся разработкой искусственного интеллекта. Если одной из причин, по которой Gemini 2.5 Pro является лучшей моделью рассуждений, является ее большое контекстное окно, то вы можете себе представить, насколько мощным является контекстное окно 5x или 10x.

Модели Llama третьей серии от Meta являются одними из лучших LLM на рынке. Однако с выпуском серии Llama 4 компания Meta делает шаг вперед, не только сосредоточившись на улучшении производительности вывода (благодаря новому ведущему в отрасли контекстному окну), но и обеспечив максимально эффективные модели за счет использования новой архитектуры MoE как во время обучения, так и во время вывода.

Собственные возможности мультимодальной обработки Llama 4, эффективная архитектура MoE и большое контекстное окно позиционируют ее как открытую, высокопроизводительную, гибкую модель ИИ с весовым коэффициентом, которая может конкурировать с ведущими моделями или превосходить их в области вывода, кодирования и многих других задач.