O Google fez uma grande atualização em suas câmeras Pixel 8. Veja como eles fizeram isso

Com seus smartphones Pixel 8 e Pixel 8 Pro, a Google está trazendo suas principais armas para a batalha pela liderança em fotografia e vídeo para smartphones. Entre as mais de uma dúzia de melhorias notáveis para os telefones Android está uma ferramenta chamada Video Boost que usa processamento de IA nas centrais de dados repletas de servidores da Google para aumentar dramaticamente a qualidade da imagem. Quando você gravar o primeiro vídeo no Pixel 8 Pro, terá apenas uma versão de pré-visualização em 1080p. Mas durante algumas horas de carregamento e processamento, a Google usa novos modelos de inteligência artificial muito grandes para um smartphone para melhorar o detalhamento de sombras, reduzir aquelas incômodas manchas de ruído e estabilizar o vídeo.

Isso significa que a tecnologia Night Sight da Google, que em 2018 estabeleceu um novo padrão para fotos de smartphones feitas em condições de pouca e escura luz, agora também chegou aos vídeos. Ou pelo menos chegará quando o Video Boost for lançado mais tarde neste inverno. “Night Sight significa algo muito importante para nós”, disse Isaac Reynolds, o gerente de produto chefe responsável pelas câmeras do Pixel. “É o melhor vídeo de baixa luz para smartphones do mercado, incluindo quaisquer telefones que podem ter sido recentemente lançados”, disse em uma sutil cutucada aos modelos iPhone 15 da Apple. Mas o Video Boost também melhora os vídeos diurnos, com mais detalhes e suavização de panorâmicas.

Reynolds falou durante uma entrevista exclusiva e aprofundada sobre a nova tecnologia de foto e vídeo nos smartphones Pixel 8 de $699 e Pixel 8 Pro de $999, lançados na quarta-feira. Ele detalhou a nova hardware da Google chamada de exposição dupla que torna possível o vídeo Night Sight, junto com uma variedade de novos avanços fotográficos do Pixel: fotos de maior resolução, melhores lentes, um novo aplicativo com controles avançados de fotografia, a capacidade de criar uma foto de grupo onde todos estão sorrindo e um limpador de áudio mágico para limpar o som em um vídeo.

As habilidades da câmera são fundamentais para smartphones, mas especialmente para os telefones Pixel da Google. Eles estão ganhando participação no mercado, mas ainda são relativamente raros, respondendo por apenas 4% dos envios de telefones da América do Norte no segundo trimestre. Boas fotos, reforçadas por anos de trabalho em fotografia computacional, são arguably o ponto de venda mais forte da linha Pixel. Mas o vídeo do Pixel tinha sido fraco quando não havia muita luz. Melhorar isso, mesmo que precise de uma ajuda dos servidores da Google, é crucial para tornar um telefone Pixel interessante de ser comprado. “No que realmente queríamos fazer uma grande diferença neste ano era no vídeo”, disse Reynolds.

O Video Boost é “a coisa mais empolgante que fiz nos últimos anos”. A seguir, um olhar detalhado sobre como a Google está tentando extrair melhores fotos e vídeos de seus smartphones Pixel 8. Muitos desenvolvimentos eram necessários para tornar o Video Boost possível. No fundamento está uma nova tecnologia de sensor de imagem no sensor principal chamada de ganho duplo de conversão que melhora o ruído de imagem e a faixa dinâmica – a capacidade de capturar detalhes de sombras e destaques. A Google se refere a sua abordagem como “exposição dupla”, mas diferente da tecnologia HDR (faixa dinâmica alta) convencional, ela não mistura múltiplas imagens separadas.

A Google diz que sua tecnologia Video Boost produz melhor faixa dinâmica de vídeo, incluindo detalhes de sombras e destaques que não estão queimados, em comparação com o iPhone 15 Pro da Apple. Mas você terá que esperar horas para receber seu vídeo Video Boost de volta dos centros de dados da Google. Ao invés disso, a tecnologia de ganho duplo de conversão é capaz de capturar simultaneamente detalhes tanto das áreas claras quanto das escuras de uma cena pixel a pixel, e então misturar o melhor dos dois. O resultado: “Seja uma cena de alto contraste ou de pouca luz, você verá um desempenho dramaticamente melhor em comparação com o Pixel 7 e Pixel 7 Pro”, disse Reynolds.

“Você não precisa abrir mão da faixa dinâmica. Isso significa menos subexposição, o que significa menos ruído de sombras.” A tecnologia está presente nos Pixel 8 e 8 Pro, mas somente o 8 Pro recebe o Video Boost. Em seguida está o novo processador Tensor G3, a terceira geração de processadores para smartphones Pixel da Google. O G3 tem mais circuitaria integrada da Google para IA e processamento de imagens do que o G2 do ano passado, e a Google o usa para produzir dois vídeos.

Um é a versão de pré-visualização em 1080p que você pode assistir ou compartilhar imediatamente. O outro é a versão Video Boost que é carregada para o Google para mais edição. O G3 pré-processa esse vídeo e, para cada quadro, adiciona até 400 elementos de metadados que caracterizam a cena, disse Reynolds. O último passo do Video Boost acontece nos centros de dados da Google, onde servidores usam novos algoritmos desenvolvidos para redução de ruído, estabilização e realce com imagens de pouca luz. Esse vídeo processado então substitui o vídeo de pré-visualização no seu telefone, incluindo uma versão 4K, se essa foi a resolução original que você gravou.

Reynolds defende o desvio de vídeo para os centros de dados como valioso. “Os resultados são incríveis”, disse. Além disso, as pessoas gostam de relembrar, revisitando um momento através de fotos e vídeos horas mais tarde, não apenas meses ou anos mais tarde. “Não acho que haja qualquer desvantagem em esperar algumas horas”, disse. Pode valer a pena esperar, mas a espera também pode durar mais do que apenas alguns poucos para bombar gigabytes de vídeo para o Google. Se você estiver longe do Wi-Fi de casa, pode se preocupar em exceder o plano de dados móvel. E em casa, pode estar entre os milhões de pessoas cujo banda larga realmente não oferece velocidades rápidas de upload.

Se você estiver nervoso em enviar seus vídeos para a nuvem do Google, o Video Boost em grande parte segue as mesmas políticas de privacidade que o Google já usava anteriormente. “Se você excluir a versão de backup após o processamento, mas mantê-la no dispositivo, o Google não reterá nenhuma cópia”, disse a Google. A diferença é com as versões intermediárias do vídeo que a empresa cria durante o processamento do Video Boost. Essas são descartadas uma vez que o novo vídeo estiver pronto. Se estiver tirando fotos, o sensor não usa a tecn