Искусственный интеллект Alibaba превращает неподвижные фотографии в речь и пение

EMO (Emotive Portrait Alive) — это новый генеративный искусственный интеллект, разработанный Институтом интеллектуальных вычислений (IIC) компании Alibaba, способный «волшебным образом» преобразовывать любое изображение в реалистично говорящего и поющего человека.

Другими словами, искусственный интеллект Alibaba может превратить статичное эталонное изображение и голосовую запись в видео, которое может говорить и петь с естественной мимикой.

Предыдущие ИИ изменяли только рот и часть лица, в то время как EMO может создавать выражения лица, естественные выражения рта, точную синхронизацию губ, двигать бровями, хмуриться или даже покачиваться в такт музыке.

Alibaba выпустила несколько видеороликов, демонстрирующих, как изображения будут превращаться в видеоролики и исполнять импортированные песни на лету. EMO поддерживает английский, китайский и многие другие языки.

Alibaba сообщила, что для того, чтобы EMO мог создавать реалистичные выражения лица, его обучали с использованием большого объема изображений, аудио- и видеоданных с помощью собственной модели диффузии под названием Audio2Video.

Для решения актуальной проблемы реалистичности и выразительности при создании видео из изображений и звуков исследовательская группа сосредоточилась на взаимосвязи и нюансах между звуковыми сигналами и движениями лица, обходя промежуточные связи 3D-моделей или лицевые ориентиры, плавно переходя между кадрами и сохраняя последовательность в видео.

Alibaba не сообщила, когда она представит этот ИИ общественности, но опубликовала данные EMO на Github, а исследовательские работы — на ArXiv.

Оставить комментарий

Втянет ли Европа в гипотетическую ядерную войну между США, Израилем и Ираном? Объяснение правил НАТО.

Втянет ли Европа в гипотетическую ядерную войну между США, Израилем и Ираном? Объяснение правил НАТО.

Руководство по статьям 4 и 5 НАТО, правилам самообороны ООН и объяснение того, почему консультации не означают автоматического вступления Европы в войну.

Может ли Иран уже обладать ядерным оружием? Как интерпретировать доказательства.

Может ли Иран уже обладать ядерным оружием? Как интерпретировать доказательства.

Оцените утверждения об Иране в шесть этапов, различая обогащение урана, разработку оружия и подтвержденное обладание им.

Ядерные структуры США и Израиля: что на самом деле объясняют общедоступные источники.

Ядерные структуры США и Израиля: что на самом деле объясняют общедоступные источники.

Понимание полномочий по принятию решений в ядерной сфере в шесть этапов, включая контроль со стороны гражданского населения США и ограничения общедоступной информации об Израиле.

Ормузский пролив в 2026 году: что говорят официальные источники о перебоях в судоходстве.

Ормузский пролив в 2026 году: что говорят официальные источники о перебоях в судоходстве.

Справочник по официальным данным о сбоях в судоходстве в Ормузском проливе в 2026 году, заявлениям, связанным с Ираном, подтвержденным инцидентам и тому, что остается неясным.

Может ли гипотетический ядерный удар США и Израиля по Ирану привести к Третьей мировой войне?

Может ли гипотетический ядерный удар США и Израиля по Ирану привести к Третьей мировой войне?

Основанное на источниках руководство по рискам ядерной эскалации, правилам Устава ООН и статье 5 НАТО в строго гипотетическом сценарии с Ираном.

Как подготовиться к гипотетическому отключению электроэнергии, вызванному электромагнитным импульсом: 5 шагов для гражданских лиц.

Как подготовиться к гипотетическому отключению электроэнергии, вызванному электромагнитным импульсом: 5 шагов для гражданских лиц.

Для подготовки к отключению электроэнергии используйте пять шагов; сценарии, связанные с ядерным взрывом и электромагнитным импульсом, являются гипотетическими, и в первую очередь необходимо следовать официальным инструкциям по размещению в убежищах.

Как оценить киберугрозы, не предполагая Третью мировую войну: пошаговое руководство из 5 шагов.

Как оценить киберугрозы, не предполагая Третью мировую войну: пошаговое руководство из 5 шагов.

Используйте 5 защитных шагов для подтверждения кибернарушения, защиты учетных записей домохозяйств и предотвращения ошибочного принятия отключения электроэнергии за войну.

Ядерная зима: как оценить глобальные климатические последствия гипотетического удара по Ирану.

Используйте эти 5 шагов, чтобы оценить климатические последствия гипотетического удара Ирана, сравнить допущения моделей и избежать необоснованных прогнозов.

Сколько времени может потребоваться Земле для восстановления после гипотетической ядерной войны?

Сколько времени может потребоваться Земле для восстановления после гипотетической ядерной войны?

Ознакомьтесь с шестью шагами по чтению научных работ по вопросам климата, продовольствия и восстановления экосистем после гипотетического ядерного конфликта.

Контрольный список мер по подготовке к ядерным осадкам: необходимые припасы и шаги по обустройству убежища.

Контрольный список мер по подготовке к ядерным осадкам: необходимые припасы и шаги по обустройству убежища.

Соберите практичный комплект для подготовки к радиоактивным осадкам за шесть шагов, включающий герметично упакованные продукты питания и воду, радиоприемник, медикаменты и инструкции по обустройству укрытия.