O Google deu uma grande atualização às câmeras do Pixel 8. Veja como eles fizeram isso

Com seus smartphones Pixel 8 e Pixel 8 Pro, a Google está levando suas principais armas para a batalha pela liderança na captação de fotos e vídeos para smartphones. Entre mais de uma dúzia de melhorias notáveis ​​que chegarão aos telefones Android está uma ferramenta chamada Video Boost que usa processamento de IA nos centros de dados repletos de servidores de Google para aumentar dramaticamente a qualidade de imagem. Quando você tirar o primeiro vídeo no Pixel 8 Pro, você terá apenas uma versão de pré-visualização de 1080p. Mas durante alguns horas para upload e processamento, o Google usa novos modelos de inteligência artificial muito grandes para um smartphone para melhorar o detalhe de sombras, reduzir aqueles irritantes grânulos de ruído e estabilizar o vídeo.

Isso significa que a tecnologia Night Sight do Google, que em 2018 estabeleceu um novo padrão para fotos de smartphones tiradas em condições de luz diminuta e escura, agora também chegou aos vídeos. Ou pelo menos quando o Video Boost for implantado mais tarde neste inverno. “Night Sight significa algo muito grande para nós”, disse Isaac Reynolds, o gerente de produto líder responsável pelas câmeras do Pixel. “É o melhor vídeo de baixa luminosidade para smartphones do mercado, inclusive quaisquer telefones que podem ter sido lançados recentemente”, disse em uma sutil cutucada aos modelos iPhone 15 da Apple .

Mas o Video Boost também melhora vídeos durante o dia, com mais detalhes e panoramas mais suaves. Reynolds falou durante uma entrevista exclusiva e aprofundada sobre a nova tecnologia de foto e vídeo nos Pixel 8 de US$ 699 e Pixel 8 Pro de US$ 999, lançados na quarta-feira. Ele detalhou a nova hardware do Google chamada exposição dupla que torna o vídeo Night Sight possível, junto com uma gama de novos avanços fotográficos do Pixel: fotos de resolução mais alta, melhores lentes, um novo aplicativo com controles avançados de fotografia, a habilidade de criar um grupo de foto onde todos estão sorrindo e um Microfone Mágico para limpar o som em um vídeo.

As habilidades de câmera são fundamentais para smartphones, mas especialmente para os telefones Pixel da Google. Eles estão aumentando sua participação no mercado, mas ainda permanecem relativamente raros, respondendo por apenas 4% dos embarques de telefones da América do Norte no segundo trimestre. Boas fotos, reforçadas por anos de trabalho de fotografia computacional, são arguivelmente o ponto de venda mais forte da linha Pixel. Mas o vídeo do Pixel tinha sido fraco quando não havia muita luz. Melhorar isso, mesmo que implique uma ajuda dos servidores do Google, é crucial para tornar um telefone Pixel valioso de se comprar. “Onde realmente queríamos fazer uma grande diferença neste ano foi no vídeo”, disse Reynolds.

O Video Boost é “a coisa mais empolgante que já fiz nos últimos anos”. A seguir, um olhar detalhado sobre como o Google está tentando obter melhores fotos e vídeos de seus smartphones Pixel 8. Muitos desenvolvimentos foram necessários para tornar o Video Boost possível. No centro está uma nova tecnologia de sensor de imagem chamada ganho de conversão dupla que melhora o ruído de imagem e a faixa dinâmica – a capacidade de capturar detalhes de sombras e destaque.

O Google se refere ao seu enfoque como “exposição dupla”, mas ao contrário da tecnologia HDR (faixa dinâmica alta) convencional, não mistura várias fotos separadas. O Google diz que sua tecnologia Video Boost produz melhor faixa dinâmica de vídeo, incluindo detalhes de sombras e destaque que não são queimados, em comparação com o iPhone 15 Pro da Apple. Mas você terá que esperar horas para receber seu vídeo Video Boost de volta dos centros de dados do Google.

Ao invés disso, a tecnologia de ganho de conversão dupla é capaz de capturar simultaneamente detalhes de áreas claras e escuras de uma cena pixel a pixel, então misturar o melhor dos dois. O resultado: “Seja uma cena de alto contraste ou uma cena de pouca luz, você verá um desempenho dramaticamente melhor em relação ao Pixel 7 e Pixel 7 Pro”, disse Reynolds. “Você não precisa abrir mão da faixa dinâmica. Isso significa menos subexposição, o que significa menos ruído de sombras.”

A tecnologia está presente nos dois Pixel 8 e 8 Pro, mas apenas o 8 Pro recebe o Video Boost. Em seguida está o novo processador Tensor G3, a terceira geração de processadores para smartphones Pixel do Google. O G3 tem mais circuitaria integrada do Google para IA e processamento de imagem do que o G2 do ano passado, e o Google o usa para produzir dois vídeos. Um é a versão de pré-visualização de 1080p que você pode assistir ou compartilhar imediatamente. O outro é a versão Video Boost que é enviada para o Google para mais edição.

O G3 pré-processa esse vídeo e, para cada quadro, adiciona até 400 elementos de metadados que caracterizam a cena, disse Reynolds. O último passo do Video Boost ocorre nos centros de dados do Google, onde servidores usam algoritmos recém-desenvolvidos para redução de ruído, estabilização e realce com imagens de baixa luminosidade. Esse vídeo processado substitui então o vídeo de pré-visualização no seu telefone, incluindo uma versão 4K, se for essa a resolução que você originalmente gravou.

Reynolds defende o desvio do vídeo para os centros de dados como valioso. “Os resultados são incríveis”, disse ele. Além disso, as pessoas gostam de lembrar, revisitando um momento através de fotos e vídeos horas depois, não apenas meses ou anos depois. “Não acho que haja nenhuma desvantagem em esperar alguns poucas horas”, disse ele.

Pode valer a pena esperar, mas a espera também pode demorar mais do que apenas alguns poucas horas para bombear gigabytes de vídeo para o Google. Se você estiver fora da rede Wi-Fi de casa, poderá se preocupar em esgotar o plano de dados móvel. E em casa, você pode estar entre os milhões de pessoas cuja banda larga na verdade não oferece velocidades de upload rápidas. Se você ficar nervoso em enviar seus vídeos para a nuvem do Google, o Video Boost em grande parte segue as mesmas políticas de privacidade que o Google já usava.

“Se você excluir a versão backupada após o processamento, mas mantê-la no dispositivo, o Google não reterá qualquer cópia”, disse a Google. A diferença está nas versões intermediárias do vídeo que a empresa cria durante o processamento do Video Boost. Essas são descartadas