Сбер выложил в открытый доступ нейросеть для создания видеоаватаров
Сбер открыл исходный код семейства нейросетей Kandinsky Avatar 1.0, позволяющих оживлять статичные фотографии. Технология автоматически синхронизирует мимику, жесты и движения губ с загруженной аудиозаписью, создавая реалистичные ролики продолжительностью до одной минуты. Инструмент уже доступен разработчикам для коммерческого использования на GitHub, GitVerse и Hugging Face под лицензией MIT.
Для запуска генерации пользователю достаточно предоставить портретный снимок и звуковой файл. Нейросеть самостоятельно выстраивает артикуляцию, а текстовые команды позволяют задать персонажу нужную эмоциональную окраску — от радости до гнева. Разработчики представили две версии модели: Pro для создания видео в HD-качестве и облегченную Lite, которую можно запустить на домашнем оборудовании в SD-разрешении.
Технология базируется на наработках Kandinsky 5.0 Video и прошла обучение на массиве из миллиона фрагментов интервью и подкастов на 95 языках. По словам управляющего директора по исследованию данных Сбербанка Дениса Димитрова, компания рассчитывает на создание российскими специалистами собственных решений на этой базе без необходимости разрабатывать сложные инструменты с нуля.
Сферы применения новой разработки охватывают создание виртуальных консультантов, обучающих курсов, рекламных роликов и локализацию видеоконтента. Хотя система требует наличия исходного аудио, она открывает возможности для быстрой анимации персонажей в видеоиграх и блогинге, предоставляя альтернативу коммерческим зарубежным сервисам вроде HeyGen.
Комментарии (0)
Пока нет комментариев. Будьте первым!