Компания Foxconn, наиболее известная производством iPhone и других аппаратных продуктов Apple, только что удивила всех, анонсировав свою первую большую языковую модель (LLM) под названием FoxBrain, которая предназначена для улучшения управления производством и цепочками поставок.
Тайваньский производитель утверждает, что FoxBrain обучался всего на 120 графических процессорах Nvidia H100. Данная программа LLM в основном разработана на основе архитектуры Llama 3.1 компании Meta с 70 миллиардами параметров, полученных путем дистилляции. Концепция уточнения LLM предполагает использование «родительской» модели и обучение «дочерней» модели на основе ее ответов. Foxconn также признала, что их LLM не так хорош, как усовершенствованная модель DeepSeek (Китай), но общая производительность очень близка к мировым стандартам.
Говоря об этом достижении, доктор Юнг-Хуэй Ли, директор Центра исследований искусственного интеллекта в Научно-исследовательском институте Hon Hai (Foxconn), сказал:
В последние месяцы расширение возможностей рассуждений и эффективное использование графических процессоров постепенно становится основной тенденцией в области ИИ. В нашей модели FoxBrain реализована очень эффективная стратегия обучения, ориентированная на оптимизацию процесса обучения, а не на слепое накопление вычислительной мощности.
Благодаря тщательно разработанным методам обучения и оптимизации ресурсов нам удалось создать локальную модель ИИ с мощными возможностями рассуждения».

Foxconn не только собирает продукцию Apple, но и производит серверы искусственного интеллекта Nvidia. Вместе со 120 графическими процессорами H100 FoxBrain масштабируется с помощью сети Quantum-2 InfiniBand от Nvidia, а обучение занимает всего около 4 недель (при общей вычислительной стоимости 2688 дней GPU). Foxconn сгенерировала 98 миллиардов высококачественных токенов данных предварительного обучения на традиционном китайском языке с длиной контекстного окна до 128 000 токенов.
Партнерство Foxconn и Nvidia не ново, и обе компании также работают над другими проектами, включая строительство крупнейшего в мире завода по производству графических процессоров Blackwell.
Nvidia также предоставила Foxconn суперкомпьютер Taipei-1 для завершения процесса предварительного обучения модели. Foxconn заявила, что FoxBrain станет «ключевым двигателем» для модернизации трех основных платформ компании: интеллектуальное производство, интеллектуальные электромобили и интеллектуальные города.