Home
» Wiki
»
Microsoft анонсирует новый инструмент для обнаружения и исправления галлюцинаторного контента в выходных данных ИИ
Microsoft анонсирует новый инструмент для обнаружения и исправления галлюцинаторного контента в выходных данных ИИ
Зарегистрируйтесь и зарабатывайте 1000$ в день ⋙
Azure AI Content Safety — это служба искусственного интеллекта от Microsoft, которая помогает обнаруживать вредоносный контент, созданный искусственным интеллектом, в приложениях, службах и на платформах. Эта утилита предоставляет API для работы с текстом и изображениями, позволяя разработчикам выявлять нежелательный контент.
API Groundedness в Azure AI Content Safety позволяет определить, основан ли ответ большой языковой модели на выбранном пользователем исходном документе. Поскольку современные большие языковые модели могут выдавать неточную или ложную информацию (иллюзорную информацию), этот API помогает разработчикам идентифицировать такой контент в выходных данных ИИ.
Сегодня Microsoft анонсировала предварительную версию исправления. В результате разработчики теперь могут обнаруживать и исправлять «иллюзорный» контент в выходных данных ИИ в режиме реального времени, гарантируя, что конечные пользователи всегда будут получать фактически точный контент, созданный ИИ. Эта функция работает следующим образом:
Разработчик приложения обеспечивает возможность редактирования.
При обнаружении необоснованных данных отправляется новый запрос в модель ИИ для исправления ошибки.
Алгоритм LLM оценит общий балл на основе авторитетных документов.
Предложения, не имеющие отношения к базовому, аутентифицированному документу, могут быть полностью отфильтрованы.
Если содержимое получено из базового документа, базовая модель перепишет необоснованное предложение в соответствии с документом.
Наряду с функцией редактирования компания Microsoft также анонсировала публичную предварительную версию гибридной технологии безопасности контента на базе искусственного интеллекта (AACS) для Azure. Эта функция позволяет разработчикам реализовывать механизмы защиты контента в облаке и на устройстве. Встроенный SDK AACS позволяет проводить проверку безопасности контента в режиме реального времени непосредственно на устройстве, даже без подключения к Интернету.
Наконец, Microsoft анонсировала предварительную версию Protected Materials Detection for Code, которую можно использовать с генерирующими код приложениями ИИ для определения того, генерирует ли LLM какой-либо защищенный код. Ранее эта функция была доступна только через службу Azure OpenAI. Теперь Microsoft предоставляет клиентам возможность использовать функцию обнаружения защищенных материалов для кода совместно с другими моделями ИИ, генерирующими код.