Lidar no iPhone 12 Pro: o que pode fazer agora e por que é importante para o futuro

O iPhone 12 Pro e o 2020 iPad Pro têm um novo sensor que adiciona varredura de profundidade para fotos melhores, mas o futuro aponta para óculos AR e muito mais. Estamos testando.

A Apple está otimista com lidar, uma tecnologia que é nova para ofamília, especificamente para o iPhone 12 Pro e. (Todas as quatro variantes do iPhone 12, incluindo o, está.) Observe atentamente um dos novos modelos do iPhone 12 Pro, ou o, e você verá um pequeno ponto preto perto das lentes da câmera, quase do mesmo tamanho do flash. Esse é o sensor lidar, e é um novo tipo de sensor de profundidade que pode fazer a diferença de várias maneiras interessantes.

A Apple está otimista com o lidar, uma tecnologia totalmente nova na família do iPhone 12, especificamente no iPhone 12 Pro e no iPhone 12 Pro Max. (Todas as quatro variantes do iPhone 12, incluindo o iPhone 12 Mini, já estão à venda.) Dê uma olhada em um dos novos modelos do iPhone 12 Pro, ou o mais recente iPad Pro, e você verá um pequeno ponto preto perto da câmera lentes, aproximadamente do mesmo tamanho do flash. Esse é o sensor lidar, e é um novo tipo de sensor de profundidade que pode fazer a diferença de várias maneiras interessantes.

Leia mais: a tecnologia lidar do iPhone 12 faz mais do que melhorar fotos. Confira este truque de festa legal

Se a Apple conseguir, lidar é um termo que você vai começar a ouvir muito agora, então vamos analisar o que sabemos, para que a Apple vai usá-lo e para onde a tecnologia pode chegar a seguir. E se você está curioso para saber o que ele faz agora, também passei um tempo prático com a tecnologia.

O que lidar significa?

Lidar significa detecção e alcance de luz e já existe há algum tempo. Ele usa lasers para desligar objetos e retornar à fonte do laser, medindo a distância cronometrando a viagem, ou vôo, do pulso de luz.

Como o lidar funciona para sentir a profundidade?

Lidar é um tipo de câmera de tempo de vôo. Alguns outros smartphones medem a profundidade com um único pulso de luz, enquanto um smartphone com este tipo de tecnologia lidar envia ondas de pulsos de luz em um spray de pontos infravermelhos e pode medir cada um com seu sensor, criando um campo de pontos que mapeiam distâncias e pode “mesclar” as dimensões de um espaço e os objetos nele. Os pulsos de luz são invisíveis ao olho humano, mas você pode vê-los com uma câmera de visão noturna.

Não é como o Face ID no iPhone?

É, mas com maior alcance. A ideia é a mesma: a câmera TrueDepth com ID de rosto da Apple também dispara uma série de lasers infravermelhos, mas só pode funcionar a alguns metros de distância. Os sensores lidar traseiros no iPad Pro e iPhone 12 Pro funcionam a um alcance de até 5 metros.

Lidar já está em muitas outras tecnologias

Lidar é uma tecnologia que está surgindo em todos os lugares. É usado para carros autônomos ou direção assistida. É usado para robótica e drones. Fones de ouvido de realidade aumentada como o HoloLens 2 têm tecnologia semelhante, mapeando os espaços das salas antes de colocar objetos virtuais 3D neles. Mas também tem uma longa história.

O antigo acessório de detecção de profundidade do Xbox da Microsoft, o Kinect, era uma câmera que também possuía varredura de profundidade infravermelha. Na verdade, a PrimeSense, a empresa que ajudou a fazer a tecnologia Kinect, foi adquirida pela Apple em 2013. Agora, temos o TrueDepth de varredura facial da Apple e sensores de câmera Lidar traseiros.

A câmera do iPhone 12 Pro funciona melhor com lidar

Câmeras de tempo de voo em smartphones tendem a ser usadas para melhorar a precisão e a velocidade do foco, e o iPhone 12 Pro faz o mesmo. A Apple promete melhor foco em pouca luz, até seis vezes mais rápido em condições de pouca luz. O sensor de profundidade lidar também é usado para melhorar os efeitos do modo retrato noturno. Até agora, causou impacto: leia nossa análise do iPhone 12 Pro para mais.

Melhor foco é uma vantagem, e também há uma chance de o iPhone 12 Pro poder adicionar mais dados de fotos 3D às imagens também. Embora esse elemento ainda não tenha sido definido, a câmera frontal TrueDepth com sensor de profundidade da Apple tem sido usada de maneira semelhante com aplicativos, e desenvolvedores de terceiros podem mergulhar e desenvolver algumas ideias selvagens. Já está acontecendo.

Também melhora muito a realidade aumentada

Lidar permite que o iPhone 12 Pro inicie aplicativos de RA com muito mais rapidez e crie um mapa rápido de uma sala para adicionar mais detalhes. Muitas das atualizações AR da Apple no iOS 14 estão aproveitando o lidar para ocultar objetos virtuais atrás de objetos reais (chamados de oclusão) e colocar objetos virtuais em mapeamentos de salas mais complicados, como em uma mesa ou cadeira.

Estive testando em um jogo da Apple Arcade, Hot Lava, que já usa lidar para escanear uma sala e todos os seus obstáculos. Consegui colocar objetos virtuais em escadas e esconder coisas atrás de objetos da vida real na sala. Espere muito mais aplicativos AR que começarão a adicionar suporte lidar como este para experiências mais ricas.

Mas há um potencial extra além disso, com uma cauda mais longa. Muitas empresas estão sonhando com fones de ouvido que mesclem objetos virtuais e reais: óculos AR, sendo trabalhados pelo Facebook, Qualcomm, Snapchat, Microsoft, Magic Leap e muito provavelmente pela Apple e outros, contarão com mapas 3D avançados do mundo para sobrepor objetos virtuais.

Esses mapas 3D estão sendo construídos agora com scanners e equipamentos especiais, quase como a versão de digitalização do mundo dos carros do Google Maps. Mas existe a possibilidade de que os próprios dispositivos das pessoas possam eventualmente ajudar a terceirizar essas informações ou adicionar dados dinâmicos extras. Mais uma vez, headsets de RA como Magic Leap e HoloLens já examinam previamente seu ambiente antes de colocar as coisas nele, e a tecnologia AR equipada com lidar da Apple funciona da mesma maneira. Nesse sentido, o iPhone 12 Pro e o iPad Pro são como fones de ouvido de RA sem a parte do fone de ouvido … e podem abrir caminho para que a Apple eventualmente faça seus próprios óculos.

A digitalização 3D pode ser o aplicativo matador

O Lidar pode ser usado para fazer a malha de objetos e salas 3D e sobrepor imagens fotográficas em camadas, uma técnica chamada fotogrametria. Essa pode ser a próxima onda de tecnologia de captura para usos práticos, como reforma residencial, ou mesmo mídia social e jornalismo. A capacidade de capturar dados 3D e comp artilhar essas informações com outras pessoas pode fazer com que esses telefones e tablets equipados com lidar sejam ferramentas de captura de conteúdo 3D. Lidar também pode ser usado sem o elemento de câmera para adquirir medidas para objetos e espaços.

Já experimentei alguns dos primeiros aplicativos de digitalização 3D habilitados para lidar no iPhone 12 Pro com sucesso misto (3D Scanner App, Lidar Scanner e Record3D), mas eles podem ser usados ​​para digitalizar objetos ou mapear salas com velocidade surpreendente. O alcance efetivo de 16 pés do escaneamento lidar é suficiente para alcançar a maioria dos cômodos da minha casa, mas em espaços externos maiores, é preciso mais movimento. Novamente, a câmera frontal TrueDepth da Apple já faz coisas semelhantes em um alcance mais próximo.

A Apple não é a primeira a explorar tecnologia como esta em um telefone

O Google tinha essa mesma ideia em mente quando o Projeto Tango – uma plataforma AR inicial que existia apenas em dois telefones – foi criado. O conjunto de câmeras avançado também tinha sensores infravermelhos e podia mapear salas, criando varreduras 3D e mapas de profundidade para AR e para medir espaços internos. Os telefones equipados com Tango do Google tiveram vida curta, substituídos por algoritmos de visão de computador que faziam a detecção de profundidade estimada em câmeras sem precisar do mesmo hardware. Mas o iPhone 12 Pro da Apple parece um sucessor significativamente mais avançado, com possibilidades de lidar que se estende a carros, fones de ouvido AR e muito mais.