- O Google apresentou uma ferramenta de geração de vídeos baseada em IA, chamada Lumiere.
- A Lumiere gera vídeos coerentes e de alta qualidade usando simples prompts de texto.
- A ferramenta pode animar quadros famosos, estilizar vídeos e editá-los com base em prompts de texto.
O Google Research divulgou um vídeo apresentando o modelo de geração de texto para vídeo chamado Lumiere. O líder do time, Inbar Mosseri, disse que a ferramenta gera vídeos coerentes e de alta qualidade usando simples prompts de texto como “Um sloth bebê fofinho com um gorro de lã laranja tentando entender um laptop” e “Um panda fugido comendo pipoca no parque”.
A criação de vídeos a partir de prompts de texto é considerada a próxima fronteira na geração por IA, portanto se a Lumiere realmente pode “apresentar resultados líderes em geração de texto para vídeo”, já podemos estar evoluindo além das “abominações grotescas” das imagens geradas por IA em 2023.
Conforme o vídeo ilustra, as capacidades da Lumiere incluem geração de texto para vídeo e imagem para vídeo, bem como geração estilizada – ou seja, usar uma imagem para criar vídeos em estilo similar. Outros truques incluem a habilidade de preencher quaisquer visuais faltantes dentro de um vídeo. Isso inclui a capacidade de animar quadros famosos, como a “Noite Estrelada” de Van Gogh.
Embora os ativos compartilhados até agora certamente façam a Lumiere parecer amigável para o usuário, a descrição de como funciona não é. Google Research disse que isso significa que o modelo de texto para imagem aprende a gerar um vídeo processando-o em múltiplas escalas espaço-tempo, o que ajuda a criar vídeos que “retratam movimento realista, diverso e coerente”.
Em outras palavras, se pensarmos no método tradicional de fazer um filme, teríamos que construir cenas-chave e preencher os espaços depois. “A Lumiere é diferente. Ela vê o filme todo em sua mente, compreendendo como os personagens se movem, objetos interagem e tudo muda ao longo do tempo”, disse Snyder. “É como desenhar todo o flip book simultaneamente, garantindo que cada página flua perfeitamente.”
Editores observam: A CNET está usando um motor de IA para ajudar a criar algumas histórias. Para mais detalhes, veja esta postagem.