OpenAI только что анонсировала программу Pioneers — попытку популяризации применения ИИ в реальных ситуациях. Программа направлена на улучшение способа оценки моделей ИИ, поскольку разработчики и предприятия все чаще полагаются на контрольные показатели для выбора и оптимизации подходящих моделей.
Этот шаг был предпринят после того, как компанию Meta обвинили в манипулировании бенчмарком LMArena с целью повышения рейтинга ее модели Llama 4. Программа Pioneers направлена на сотрудничество с компаниями и исследователями OpenAI с целью разработки стандартов оценки, отражающих реальные проблемы, а не просто гонку за очками в таблице лидеров.
По данным OpenAI, выбранные компании получат прямую поддержку от своих исследовательских групп, сосредоточившись на двух основных целях:
- Создайте контрольные показатели для каждой области : разработайте отдельные методы оценки для каждой области (юриспруденция, финансы, медицина, страхование, бухгалтерский учет).
- Тонкая настройка обучения модели : разработка глубоких моделей ИИ, охватывающих три наиболее важных бизнес-варианта использования.
OpenAI подчеркивает, что в настоящее время не существует единого стандарта для измерения производительности ИИ во многих из этих областей, что приводит к трудностям в справедливой оценке или улучшении моделей. Работая напрямую, компания надеется четко определить, «что является эффективным» в каждой отрасли, и опубликовать эти критерии для применения сообществом.
Что касается настройки моделей, то компаниям-участникам будет оказана поддержка в обучении пользовательских версий ИИ с использованием Reinforcement Fine-Tuning (RFT) — метода OpenAI для создания «экспертных» моделей, которые отлично справляются с узкими наборами задач. Эти модели готовы к развертыванию в промышленных масштабах.
Что касается плана внедрения, то на первом этапе основное внимание будет уделено группе стартапов, отобранных на основе фактического воздействия продукта. OpenAI отдает приоритет командам, которые решают конкретные проблемы, где глубокий ИИ может принести ощутимую пользу. Наряду с этим в будущем планируется расширение на крупные предприятия и более сложные отрасли.