На GitHub выложили Animator: рисованное объясняющее видео из одной фразы

На GitHub выложили проект Animator: по одной текстовой подсказке он делает рисованное объясняющее видео в стиле whiteboard. Достаточно одной команды, чтобы инструмент написал сценарий, нарисовал кадры, записал озвучку и анимировал каждую иконку в тот момент, когда звучит её фраза.

Как это работает

Внутри работает конвейер из пяти шагов. Первые четыре опираются на модели Gemini: раскадровка разбивает идею на сцены из одной фразы и одной иконки, затем сцена рисуется как кадр 16:9, текст озвучивается, а иконки находятся на изображении и привязываются к своим фразам. Шаги с картинками, озвучкой и определением областей идут параллельно для всех сцен. Пятый шаг выполняет локальный движок отрисовки: он рисует иконки одну за другой и считает анимацию на CPU, видеокарта не нужна. Различать текст и фигуры помогает небольшая встроенная модель CRAFT.

Примеры

В репозитории три примера, каждый собран из одной подсказки без последующего монтажа: уравнение Эйнштейна из 4 сцен (1:39), фотосинтез из 5 сцен (1:50) и подъёмная сила крыла из 5 сцен (1:36). По описанию в README, ролик из 4–5 сцен занимает около минуты.

Для запуска нужны Python 3.10+ и FFmpeg. Ключ Gemini нужен только для генерации из подсказки и для автоматического определения областей, получить его можно в Google AI Studio. Если использовать свои картинки, ключ не требуется: лучше всего анимируются чистые маркерные рисунки на белом фоне, а фотографии, градиенты и тёмный фон подходят плохо.

Проект Animator представляет собой сильно расширенный форк whiteboard-animator, репозиторий ведёт пользователь ashishjamarkattel. Базовый движок создали Масих Султани и участники оригинального проекта, а форк добавил конвейер от подсказки до готового MP4. Промпты лежат отдельными текстовыми файлами, их можно править и запускать заново без изменений в коде.

Редактор перевода: Салтанов А.