Cerebras запускает самую быструю в мире технологию вывода искусственного интеллекта, производительность которой в 20 раз выше, чем у NVIDIA

Компания Cerebras Systems только что официально анонсировала Cerebras Inference, которая считается самым быстрым в мире решением для вывода на основе искусственного интеллекта. Cerebras Inference обеспечивает производительность до 1800 токенов в секунду для моделей Llama 3.1 8B (8 миллиардов параметров) и 450 токенов в секунду для Llama 3.1 70B, что почти в 20 раз быстрее решений для вывода ИИ на базе графических процессоров NVIDIA, доступных в современных гипермасштабируемых облаках по всему миру, включая Microsoft Azure.

Помимо невероятной производительности, стоимость услуг этого нового решения для вывода также очень низкая и составляет лишь малую часть стоимости популярных облачных платформ на базе графических процессоров. Например, клиент может получить один миллион токенов всего за 10 центов, тем самым обеспечив в 100 раз более высокую производительность при выполнении рабочих нагрузок ИИ.

16-битная точность Cerebras и в 20 раз более высокая скорость вывода позволят разработчикам создавать высокопроизводительные приложения ИИ следующего поколения без ущерба для скорости или стоимости. Такое революционное соотношение цены и производительности стало возможным благодаря системе Cerebras CS-3 и процессору искусственного интеллекта Wafer Scale Engine 3 (WSE-3). CS-3 обеспечивает в 7000 раз большую пропускную способность памяти, чем Nvidia H100, решая техническую проблему пропускной способности памяти для генеративного ИИ.

В настоящее время Cerebras Inference доступен на следующих трех уровнях:

• Бесплатный уровень предлагает бесплатный доступ к API и щедрые лимиты использования для всех, кто зарегистрируется.
• Уровень разработчика предназначен для гибких развертываний без использования серверов, предоставляя пользователям конечные точки API по цене, составляющей лишь малую часть стоимости существующих альтернатив на рынке: модели Llama 3.1 8B и 70B стоят всего 10 и 60 центов за миллион токенов соответственно.
• Планы Enterprise Tier предлагают точно настроенные модели, индивидуальные соглашения об уровне обслуживания и специализированную поддержку. Идеально подходит для постоянных рабочих нагрузок: предприятия могут получить доступ к Cerebras Inference через частное облако, управляемое Cerebras, или локально.

Благодаря рекордной производительности, конкурентоспособным ценам и открытому доступу к API Cerebras Inference устанавливает новый стандарт для открытой разработки и развертывания LLM. Cerebras — единственное решение, способное обеспечить как высокоскоростное обучение, так и вывод, что открывает совершенно новые возможности для ИИ.

Поскольку тенденции в области искусственного интеллекта стремительно развиваются, а NVIDIA в настоящее время занимает доминирующее положение на рынке, появление таких компаний, как Cerebras и Groq, сигнализирует о потенциальном изменении динамики всей отрасли. Поскольку спрос на более быстрые и экономичные решения для вывода ИИ растет, такие решения, как Cerebras Inference, имеют все шансы побороться за лидерство NVIDIA, особенно в сфере вывода.