O vídeo espacial do Apple iPhone chega em versão beta e parece incrível no Vision Pro –

Estou olhando para um prato de sushi flutuando em frente a mim em 3D. O chef termina os complementos nos rodízios de iaçá e atum, falando comigo enquanto trabalha. Parece vívido. Parece real. A parte incrível é que acabei de gravar este vídeo eu mesmo, momentos antes, no iPhone 15 Pro. E agora é uma experiência de RV que estou assistindo em belo 3D no headset Vision Pro da Apple. Arrasto com os dedos e assisto a outros vídeos fantasmagóricos fornecidos pela Apple. Famílias em uma casa, caminhando pela grama. Abraçando-se. Tudo em 3D hiper-realista. Sinto como se estivesse espiando nas vidas deles, o que é estranho e íntimo. Mas a vividez é inegável. Estou experimentando o novo recurso de câmera de vídeo espacial do iPhone da Apple, agora disponível na versão beta pública do iOS 17.2 da Apple, com a versão final chegando no iOS 17.2 mais tarde neste ano.

Grava vídeos em 3D, mas para usá-lo você precisará do melhor telefone da Apple, o iPhone 15 Pro de US$ 1.000. E para assistir aos vídeos em 3D, você precisará do headset Vision Pro de US $ 3.500, que será lançado no início de 2023. Os vídeos parecem ótimos e o 3D é impressionantemente realista. Eles também são fáceis de gravar e podem ser salvos como vídeos que serão reproduzidos em 2D em um formato de vídeo normal. Mas, em última análise, esse recurso é feito para um produto de 2024 que, por US $ 3.500, é seguro dizer que a maioria das pessoas não comprará tão cedo. Ainda assim, a experiência é impressionante.

Já havia usado o Vision Pro na conferência WWDC da Apple em junho e, mais uma vez, me lembro de suas extraordinárias capacidades de exibição. Fotos e vídeos parecem fantásticos no headset da Apple. Até diria que o Vision Pro supera qualquer exibição que eu tenho em casa agora. Sim, eu gostaria de olhar para vídeos e fotos – em 3D e de outra forma – se tivesse um Vision Pro.

Minha segunda imersão no Vision Pro, completa com lentes de prescrição ajustadas que correspondiam às minhas necessidades, me lembra o quão menor o headset era do que eu lembrava. E também o quão esforçada é a interface. Configurar o rastreamento de olhos foi um processo rápido; olhei para pontos em volta de um círculo e toquei neles. Também tentei um novo conjunto de gestos de zoom, apertando os dedos e esticando-os para expandir fotos. O gesto funciona com rastreamento de olhos, então onde quer que eu olhasse, a imagem se expandia. Parecia telepatia. Pude ver algumas fotos de teste na aplicação Fotos e reproduzir fotos em Memórias.

Depois de ter usado um Quest 3 recentemente, as câmeras de passagem e a resolução de exibição da Apple estão em outro planeta. Fotos panorâmicas foram uma surpresa. Eles se abriram e envolveram ao meu redor, pareciam janelas para outros lugares – quase 3D, na verdade. E os vídeos espaciais também parecem bons. Sua qualidade de reprodução quase fantasmagórica em 3D parece estar visando uma memória imersiva mais do que uma reprodução de vídeo direta. Mas encontrei alguns limites mesmo em minha breve demonstração da experiência.

Infelizmente, não há nenhum registro do que vi ou gravei aqui: as fotos são todas as fornecidas pela Apple, então você terá que apenas acompanhar e ler sobre minha experiência. As câmeras lado a lado gravam vídeo em 3D a 1080p e 30 fps, combinando as informações em um único arquivo que pode ser reproduzido em 2D em qualquer outro lugar se você não tiver um Vision Pro no próximo ano. Os vídeos espaciais precisam ser gravados segurando o telefone na horizontal.

O iPhone 15 Pro usa suas câmeras principal e ultra grande angular lado a lado no modo paisagem para criar o vídeo em 3D. Grava dois vídeos de 1080p, 30 fps ao mesmo tempo, resolvendo as diferenças de lente e distância com fotografia computacional. O arquivo é salvo no formato HEVC, semelhante a outros arquivos de vídeo da Apple, com tamanho de armazenamento de cerca de 130 MB por minuto. Isso não é tão ruim, provavelmente porque os arquivos são limitados a essa relativamente baixa resolução de 1080p e taxa de quadros de 30 fps.

Os clipes de vídeo espacial podem ser compartilhados via Mensagens ou AirDrop, mas pode haver casos em que os arquivos são compactados em outros aplicativos, perdendo os dados 3D. Ainda assim, os clipes de vídeo devem ser usáveis como um arquivo de vídeo normal todos os dias, o que é uma ótima notícia para qualquer um que se perguntou (inclusive eu) se você teria que escolher um formato de vídeo em 3D “especial”. Você tem que ativar o modo de gravação de vídeo espacial, seja dentro das configurações do aplicativo Câmera da Apple ou com um interruptor em formato de máscara de Vision Pro no próprio aplicativo Câmera.

Isso limita sua resolução e taxa de quadros de vídeo e também significa que você precisa gravar na horizontal. O aplicativo Câmera faz recomendações de virar a câmera de lado e permanecer a uma certa distância do assunto. Fui informado para ficar a 3 a 8 pés do que eu estava gravando para um bom vídeo espacial, mas quando gravei meu teste de gravação de alguém fazendo sushi em uma mesa, cheguei mais perto e parecia perfeitamente bom. Também gravei em um quarto bem iluminado, mas aparentemente o modo de gravação de vídeo espacial impede ajustes de brilho e contraste, o que significa que a gravação em pouca luz pode acabar ficando mais granulada do que vídeos normais.

A Apple incorporou o interruptor de gravação de vídeo espacial no aplicativo Câmera básico, mas você precisa de um iPhone 15 Pro para gravar em 3D. Não há API para o formato de vídeo 3D HEVC da Apple, o que significa que os arquivos não são concebidos para que os aplicativos de terceiros possam reconhecê-los ainda. Mas é possível que os desenvolvedores de aplicativos descubram algum tipo de solução. Também é decepcionante que não haja outra forma de visualizar os vídeos em 3D além do Vision Pro.

A gravação estéreo em 3D teoricamente parece um processo que poderia ser adaptado para outros headsets VR como o Quest 3 da Meta de US $ 500. É vídeo estéreo direto e não usa lidar