A nova ferramenta AI Text-to-Video do Google é divertida de se ver. Mas o que vem a seguir? -CNET

Publicado em por
  • O Google apresentou uma ferramenta de geração de vídeos baseada em IA, chamada Lumiere.
  • A Lumiere gera vídeos coerentes e de alta qualidade usando simples prompts de texto.
  • A ferramenta pode animar quadros famosos, estilizar vídeos e editá-los com base em prompts de texto.

O Google Research divulgou um vídeo apresentando o modelo de geração de texto para vídeo chamado Lumiere. O líder do time, Inbar Mosseri, disse que a ferramenta gera vídeos coerentes e de alta qualidade usando simples prompts de texto como “Um sloth bebê fofinho com um gorro de lã laranja tentando entender um laptop” e “Um panda fugido comendo pipoca no parque”.

A criação de vídeos a partir de prompts de texto é considerada a próxima fronteira na geração por IA, portanto se a Lumiere realmente pode “apresentar resultados líderes em geração de texto para vídeo”, já podemos estar evoluindo além das “abominações grotescas” das imagens geradas por IA em 2023.

Conforme o vídeo ilustra, as capacidades da Lumiere incluem geração de texto para vídeo e imagem para vídeo, bem como geração estilizada – ou seja, usar uma imagem para criar vídeos em estilo similar. Outros truques incluem a habilidade de preencher quaisquer visuais faltantes dentro de um vídeo. Isso inclui a capacidade de animar quadros famosos, como a “Noite Estrelada” de Van Gogh.

Embora os ativos compartilhados até agora certamente façam a Lumiere parecer amigável para o usuário, a descrição de como funciona não é. Google Research disse que isso significa que o modelo de texto para imagem aprende a gerar um vídeo processando-o em múltiplas escalas espaço-tempo, o que ajuda a criar vídeos que “retratam movimento realista, diverso e coerente”.

Em outras palavras, se pensarmos no método tradicional de fazer um filme, teríamos que construir cenas-chave e preencher os espaços depois. “A Lumiere é diferente. Ela vê o filme todo em sua mente, compreendendo como os personagens se movem, objetos interagem e tudo muda ao longo do tempo”, disse Snyder. “É como desenhar todo o flip book simultaneamente, garantindo que cada página flua perfeitamente.”

Editores observam: A CNET está usando um motor de IA para ajudar a criar algumas histórias. Para mais detalhes, veja esta postagem.