Cerebras запускает самую быструю в мире технологию вывода искусственного интеллекта, производительность которой в 20 раз выше, чем у NVIDIA

Компания Cerebras Systems только что официально анонсировала Cerebras Inference, которая считается самым быстрым в мире решением для вывода на основе искусственного интеллекта. Cerebras Inference обеспечивает производительность до 1800 токенов в секунду для моделей Llama 3.1 8B (8 миллиардов параметров) и 450 токенов в секунду для Llama 3.1 70B, что почти в 20 раз быстрее решений для вывода ИИ на базе графических процессоров NVIDIA, доступных в современных гипермасштабируемых облаках по всему миру, включая Microsoft Azure.

Помимо невероятной производительности, стоимость услуг этого нового решения для вывода также очень низкая и составляет лишь малую часть стоимости популярных облачных платформ на базе графических процессоров. Например, клиент может получить один миллион токенов всего за 10 центов, тем самым обеспечив в 100 раз более высокую производительность при выполнении рабочих нагрузок ИИ.

16-битная точность Cerebras и в 20 раз более высокая скорость вывода позволят разработчикам создавать высокопроизводительные приложения ИИ следующего поколения без ущерба для скорости или стоимости. Такое революционное соотношение цены и производительности стало возможным благодаря системе Cerebras CS-3 и процессору искусственного интеллекта Wafer Scale Engine 3 (WSE-3). CS-3 обеспечивает в 7000 раз большую пропускную способность памяти, чем Nvidia H100, решая техническую проблему пропускной способности памяти для генеративного ИИ.

Cerebras запускает самую быструю в мире технологию вывода искусственного интеллекта, производительность которой в 20 раз выше, чем у NVIDIA

В настоящее время Cerebras Inference доступен на следующих трех уровнях:

  • Бесплатный уровень предлагает бесплатный доступ к API и щедрые лимиты использования для всех, кто зарегистрируется.
  • Уровень разработчика предназначен для гибких развертываний без использования серверов, предоставляя пользователям конечные точки API по цене, составляющей лишь малую часть стоимости существующих альтернатив на рынке: модели Llama 3.1 8B и 70B стоят всего 10 и 60 центов за миллион токенов соответственно.
  • Планы Enterprise Tier предлагают точно настроенные модели, индивидуальные соглашения об уровне обслуживания и специализированную поддержку. Идеально подходит для постоянных рабочих нагрузок: предприятия могут получить доступ к Cerebras Inference через частное облако, управляемое Cerebras, или локально.

Благодаря рекордной производительности, конкурентоспособным ценам и открытому доступу к API Cerebras Inference устанавливает новый стандарт для открытой разработки и развертывания LLM. Cerebras — единственное решение, способное обеспечить как высокоскоростное обучение, так и вывод, что открывает совершенно новые возможности для ИИ.

Поскольку тенденции в области искусственного интеллекта стремительно развиваются, а NVIDIA в настоящее время занимает доминирующее положение на рынке, появление таких компаний, как Cerebras и Groq, сигнализирует о потенциальном изменении динамики всей отрасли. Поскольку спрос на более быстрые и экономичные решения для вывода ИИ растет, такие решения, как Cerebras Inference, имеют все шансы побороться за лидерство NVIDIA, особенно в сфере вывода.

Оставить комментарий

Втянет ли Европа в гипотетическую ядерную войну между США, Израилем и Ираном? Объяснение правил НАТО.

Втянет ли Европа в гипотетическую ядерную войну между США, Израилем и Ираном? Объяснение правил НАТО.

Руководство по статьям 4 и 5 НАТО, правилам самообороны ООН и объяснение того, почему консультации не означают автоматического вступления Европы в войну.

Может ли Иран уже обладать ядерным оружием? Как интерпретировать доказательства.

Может ли Иран уже обладать ядерным оружием? Как интерпретировать доказательства.

Оцените утверждения об Иране в шесть этапов, различая обогащение урана, разработку оружия и подтвержденное обладание им.

Ядерные структуры США и Израиля: что на самом деле объясняют общедоступные источники.

Ядерные структуры США и Израиля: что на самом деле объясняют общедоступные источники.

Понимание полномочий по принятию решений в ядерной сфере в шесть этапов, включая контроль со стороны гражданского населения США и ограничения общедоступной информации об Израиле.

Ормузский пролив в 2026 году: что говорят официальные источники о перебоях в судоходстве.

Ормузский пролив в 2026 году: что говорят официальные источники о перебоях в судоходстве.

Справочник по официальным данным о сбоях в судоходстве в Ормузском проливе в 2026 году, заявлениям, связанным с Ираном, подтвержденным инцидентам и тому, что остается неясным.

Может ли гипотетический ядерный удар США и Израиля по Ирану привести к Третьей мировой войне?

Может ли гипотетический ядерный удар США и Израиля по Ирану привести к Третьей мировой войне?

Основанное на источниках руководство по рискам ядерной эскалации, правилам Устава ООН и статье 5 НАТО в строго гипотетическом сценарии с Ираном.

Как подготовиться к гипотетическому отключению электроэнергии, вызванному электромагнитным импульсом: 5 шагов для гражданских лиц.

Как подготовиться к гипотетическому отключению электроэнергии, вызванному электромагнитным импульсом: 5 шагов для гражданских лиц.

Для подготовки к отключению электроэнергии используйте пять шагов; сценарии, связанные с ядерным взрывом и электромагнитным импульсом, являются гипотетическими, и в первую очередь необходимо следовать официальным инструкциям по размещению в убежищах.

Как оценить киберугрозы, не предполагая Третью мировую войну: пошаговое руководство из 5 шагов.

Как оценить киберугрозы, не предполагая Третью мировую войну: пошаговое руководство из 5 шагов.

Используйте 5 защитных шагов для подтверждения кибернарушения, защиты учетных записей домохозяйств и предотвращения ошибочного принятия отключения электроэнергии за войну.

Ядерная зима: как оценить глобальные климатические последствия гипотетического удара по Ирану.

Используйте эти 5 шагов, чтобы оценить климатические последствия гипотетического удара Ирана, сравнить допущения моделей и избежать необоснованных прогнозов.

Сколько времени может потребоваться Земле для восстановления после гипотетической ядерной войны?

Сколько времени может потребоваться Земле для восстановления после гипотетической ядерной войны?

Ознакомьтесь с шестью шагами по чтению научных работ по вопросам климата, продовольствия и восстановления экосистем после гипотетического ядерного конфликта.

Контрольный список мер по подготовке к ядерным осадкам: необходимые припасы и шаги по обустройству убежища.

Контрольный список мер по подготовке к ядерным осадкам: необходимые припасы и шаги по обустройству убежища.

Соберите практичный комплект для подготовки к радиоактивным осадкам за шесть шагов, включающий герметично упакованные продукты питания и воду, радиоприемник, медикаменты и инструкции по обустройству укрытия.