Como o Pixel Binning torna seu Samsung, Apple e Google Photos melhores –

Os telefones principais contam com essa tecnologia para oferecer bom desempenho com pouca luz quando está escuro e fotos de alta resolução quando está claro. Veja como funciona.

Os megapixels costumavam ser muito mais simples: um número maior significava que sua câmera poderia capturar mais detalhes da foto, desde que a cena tivesse luz suficiente. Mas uma tecnologia chamada pixel binning, que agora é universal em smartphones emblemáticos, está mudando as velhas regras da fotografia para melhor.

Resumindo, o binning de pixels oferece uma câmera que oferece muitos detalhes quando está claro, sem se tornar inútil quando a luz é fraca.

As mudanças de hardware necessárias trazem algumas compensações e detalhes interessantes, e diferentes fabricantes de telefones estão tentando diferentes receitas de binning de pixel. Aqui está um olhar mais atento.

O pixel binning chegou em 2018, se espalhou amplamente em 2020 com modelos como Samsung Galaxy S20 Ultra e Xiaomi’s Mi 10 Pro, e chegou ao hardware da Apple e do Google com os telefones iPhone 14 Pro e Pixel 7 em 2022. O modelo topo de linha da Samsung, o Galaxy S22 Ultra, possui um sensor de câmera principal de 108 megapixels e o binning de pixels pode dar o próximo salto tecnológico com a esperada câmera principal de 200 megapixels do S23 Ultra definida para estréia em 1º de fevereiro.

O que é binning de pixel?

O binning de pixel é uma tecnologia projetada para tornar um sensor de imagem mais adaptável a diferentes condições, agrupando pixels de maneiras diferentes. Quando está claro, você pode fotografar com a resolução total do sensor, pelo menos em alguns telefones. Quando está escuro, conjuntos de pixels – 2×2, 3×3 ou 4×4, dependendo do sensor – podem ser agrupados em pixels virtuais maiores que captam mais luz, mas tiram fotos com resolução mais baixa.

Por exemplo, o sensor Isocell HP2 da Samsung pode tirar fotos de 200 megapixels, fotos de 50 megapixels com grupos de 2×2 pixels e fotos de 12,5 megapixels com grupos de 4×4 pixels.

O binning de pixels oferece outra vantagem que chegou aos telefones de 2020: o zoom virtual. Os telefones podem cortar uma foto para coletar apenas a luz dos pixels centrais da câmera principal de 48 megapixels do iPhone 14 Pro ou da câmera de 50 megapixels do Google Pixel 7. Isso transforma uma câmera principal de 1x em zoom de 2x que tira fotos de 12 megapixels. Só funcionará bem com luz relativamente boa, mas é uma ótima opção, e 12 megapixels é a resolução predominante há anos, então ainda é uma foto útil.

Com uma resolução de base tão alta, os sensores de binning de pixel também podem ser mais adequados para vídeos de alta resolução, em particular em resolução 8K extremamente alta.

A categorização de pixels requer algumas alterações sofisticadas no próprio sensor e nos algoritmos de processamento de imagem que transformam os dados brutos do sensor em uma foto ou vídeo.

O pixel binning é um truque?

Não. Bem, principalmente não. Ele permite que os fabricantes de telefones se gabem dos números de megapixels que excedem amplamente o que você verá, mesmo em câmeras DSLR e mirrorless de nível profissional. Isso é um pouco bobo, já que os pixels maiores nas câmeras de última geração coletam muito mais luz e apresentam uma ótica melhor do que os smartphones. Mas poucos de nós carregamos essas câmeras grandes, e o binning de pixels pode extrair mais qualidade de foto da câmera do smartphone.

Como funciona o binning de pixels?

Para entender melhor a categorização de pixels, você precisa saber como é o sensor de imagem de uma câmera digital. É um chip de silício com uma grade de milhões de pixels (tecnicamente chamados de photosites) que captam a luz que entra pela lente da câmera. Cada pixel registra apenas uma cor: vermelho, verde ou azul.

As cores são escalonadas em um arranjo xadrez especial chamado padrão Bayer, que permite que uma câmera digital reconstrua todos os três valores de cor para cada pixel, uma etapa fundamental para gerar aquele JPEG que você deseja compartilhar no Instagram.

A combinação de dados de vários pixels pequenos no sensor de imagem em um pixel virtual maior é realmente útil para situações de pouca luz, onde os pixels grandes são melhores para manter o ruído da imagem afastado e capturar melhor a cor. Quando está mais claro, há luz suficiente para que os pixels individuais funcionem por conta própria, oferecendo a foto de maior resolução ou uma visão ampliada.

O binning de pixel geralmente combina quatro pixels reais em um “compartimento” de pixel virtual. Mas a linha Galaxy S Ultra da Samsung usou um grupo 3×3 de pixels reais em um pixel virtual, e a empresa sul-coreana provavelmente adotará o binning 4×4 com o Galaxy S23 Ultra.

Quando você deve usar alta resolução versus binning de pixel?

A maioria das pessoas ficará feliz com fotos de resolução mais baixa, e esse é o padrão que meus colegas Jessica Dolcourt e Patrick Holland recomendam depois de testar os novos telefones Samsung Galaxy. Os iPhones da Apple nem tiram fotos de 50 megapixels, a menos que você habilite especificamente a opção ao fotografar com seu formato de imagem ProRaw de ponta, e o Pixel 7 Pro do Google não oferece fotos completas de 50 megapixels.

As fotos de 12 megapixels oferecem melhor desempenho com pouca luz, mas também evitam os tamanhos monstruosos de imagens de resolução total que podem consumir o armazenamento em seu dispositivo e serviços online como Google Fotos e iCloud. Por exemplo, uma foto de amostra que meu colega Lexy Savvides tirou foi de 3,6 MB a 12 megapixels com binning de pixels e 24 MB a 108 megapixels sem.

Os entusiastas da fotografia são mais propensos a querer usar a resolução máxima quando possível. Isso pode ajudá-lo a identificar pássaros distantes ou tirar fotos mais dramáticas da natureza de objetos distantes. E se você gosta de imprimir fotos grandes (sim, algumas pessoas ainda fazem impressões), mais megapixels importam.

Um Samsung Galaxy S21 Ultra de 108 megapixels tira fotos melhores do que uma câmera profissional Sony A7r V de 61 megapixels?

Não. O tamanho de cada pixel no sensor de imagem também é importante, junto com outros fatores como lentes e processamento de imagem. Há uma razão para o Sony A7r V custar $ 3.898, enquanto o S22 Ultra custa $ 1.200 e também pode executar milhares de aplicativos e fazer ligações.

Os pixels do sensor de imagem são quadrados cuja largura é medida em milionésimos de metro, ou mícrons. Um fio de cabelo humano tem cerca de 75 mícrons de diâmetro. No Samsung Isocell HP2, um pixel virtual em uma foto de 12 megapixels tem 2,4 mícrons de diâmetro. No modo de 200 megapixels, um pixel mede apenas 0,6 mícron. Em um Sony A7r V, porém, um pixel tem 3,8 mícrons de diâmetro. Isso significa que a Sony pode coletar duas vezes e meia mais luz por pixel do que um telefone com o HP2 Ultra com modo binning de 12 megapixels e 39 vezes mais do que no modo de resolução total de 200 megapixels – uma grande melhoria na qualidade da imagem.

Os telefones estão avançando mais rápido do que as câmeras tradicionais e fechando a lacuna na qualidade da imagem. A tecnologia de fotografia computacional, como combinar vários quadros em uma única foto, e outros truques de processamento de software possibilitados por poderosos chips de telefone também estão ajudando. É por isso que meu colega e fotógrafo profissional Andrew Lanxon pode tirar fotos de smartphone com pouca luz do computador de mão que levariam um tripé com sua DSLR. E os sensores de imagem em smartphones estão ficando cada vez maiores para melhorar a qualidade.

Por que o pixel binning é popular?

Porque a miniaturização tornou possíveis pixels cada vez menores. “O que impulsionou o binning é essa nova tendência de pixels submicron”, aqueles com menos de um mícron de largura, disse Devang Patel, gerente sênior de marketing da Omnivision, um dos principais fabricantes de sensores de imagem. Ter muitos desses pixels permite que os fabricantes de telefones – desesperados para destacar o telefone deste ano – se gabem de muitas classificações de megapixels e vídeo de 8K. O binning permite que eles se gabem sem sacrificar a sensibilidade à pouca luz.

Você pode filmar raw com binning de pixel?

Isso depende do telefone. Os entusiastas da fotografia gostam da flexibilidade e da qualidade de imagem das fotos originais — os dados do sensor de imagem não processados, compactados como um arquivo DNG. Mas nem todos os telefones expõem a foto bruta em resolução máxima. O iPhone 14 Pro sim, mas o Pixel 7 Pro não, por exemplo.

A situação é complicada pelo fato de que o software de processamento bruto como o Adobe Lightroom espera imagens brutas cujos dados de cores vêm em um padrão Bayer tradicional, não em células de pixel agrupadas em manchas 2×2 ou 3×3 da mesma cor.

O Isocell HP2 tem um truque inteligente aqui: ele usa a tecnologia AI para “resaic” os grupos de pixels 4×4 para construir o tradicional tabuleiro de damas de cores do padrão Bayer. Isso significa que ele pode tirar fotos brutas com resolução total de 200 megapixels, embora ainda não se saiba se essa será uma opção disponível no envio de smartphones.

Quais são as desvantagens do pixel binning?

Para o mesmo sensor de tamanho, 12 megapixels reais funcionariam um pouco melhor do que 12 megapixels agrupados, diz Judd Heape, diretor sênior da Qualcomm, que fabrica chips para celulares. O sensor provavelmente seria menos caro também. E quando você está fotografando em resolução total, é necessário mais processamento de imagem, o que reduz a vida útil da bateria.

De fato, os custos do sensor de pixel binning e os requisitos de bateria e potência de processamento são os motivos pelos quais é uma opção principalmente em telefones de última geração.

Para fotos de alta resolução, você obteria melhor nitidez com um padrão Bayer regular do que com um sensor binning usando grupos 2×2 ou 3×3 de pixels da mesma cor. Mas isso não é um problema tão ruim. “Com nosso algoritmo, podemos recuperar de 90% a 95% da qualidade real da imagem da Bayer”, disse Patel. Comparando as duas abordagens em imagens lado a lado, você provavelmente não notaria a diferença fora de cenas de teste de laboratório com situações difíceis como linhas finas.

Se você esquecer de colocar o telefone no modo binning e tirar fotos de alta resolução no escuro, a qualidade da imagem será prejudicada. A Apple usa automaticamente o binning de pixels para tirar fotos com resolução mais baixa, evitando esse risco.

As câmeras comuns também podem usar binning de pixel?

Sim, e a julgar por alguns designs de sensor full-frame da Sony, o principal fabricante de sensores de imagem no momento, eles algum dia farão isso.

Qual é o futuro do pixel binning?

Vários desenvolvimentos são possíveis. Sensores de resolução muito alta com binning de 4×4 pixels podem se espalhar para telefones mais premium, e binning de 2×2 pixels menos exóticos se espalharão para telefones de baixo custo.

Outra direção é melhor HDR, ou alta faixa dinâmica, fotografia que captura uma melhor extensão de dados de imagens claras e escuras. Sensores de telefones pequenos lutam para capturar uma ampla faixa dinâmica, e é por isso que empresas como Google e Apple combinam várias fotos para gerar computacionalmente fotos HDR.

Mas o binning de pixel significa uma nova flexibilidade em nível de pixel. Em um grupo 2×2, você pode dedicar dois pixels à exposição normal, um para uma exposição mais escura para capturar destaques como céus claros e outro para uma exposição mais clara para capturar detalhes de sombra.

De fato, o HP2 da Samsung pode dividir as funções de pixel dessa maneira para imagens HDR.

A Omnivision também espera melhorias no foco automático. Com designs anteriores, cada pixel é coberto com sua própria microlente projetada para captar mais luz. Mas agora uma única microlente às vezes abrange um grupo 2×2, 3×3 ou 4×4 também. Cada pixel sob a mesma microlente obtém uma visão ligeiramente diferente da cena, dependendo de sua posição, e a diferença permite que uma câmera digital calcule a distância do foco. Isso deve ajudar sua câmera a manter os objetos da foto em foco nítido.