Ray-Bans da Meta apresenta nova IA ao vivo e tradução, Hands-On: sinais de óculos de RA por vir –

Eu ativei a nova opção de IA ao vivo dos óculos Meta Ray-Bans e dei um passeio pela manhã em Manhattan. Foi uma experiência estranha. Uma luz LED branca no cantinho dos meus olhos permaneceu acesa enquanto meus óculos transmitiam minha vida. Fiz perguntas constrangedoras: sobre os pombos, sobre os trabalhadores da construção, sobre se ele sabia que carro estava por perto ou quem eram os donos dos caminhões do outro lado da rua. Recebi respostas mistas, às vezes nenhuma resposta. E então minha conexão caiu por causa de um mau Bluetooth na cidade. Meus primeiros passos com um companheiro de IA sempre ciente foram estranhos e ainda mais ficcionais do que eu havia experimentado no último ano. Assim como em uma recente demonstração com os óculos Gemini da Google, os Ray-Bans da Meta – que já estão amplamente disponíveis – estão dando os próximos passos para se tornar algo como um assistente sempre ciente. Ou agente, como o cenário da IA está chamando agora. Modo Live AI e tradução ao vivo; uma vez ligado, permanece ligado. Pensa-se que a IA pode ver o que você vê. E talvez ele te ajude a fazer algo que você não sabe como fazer. Mas esses recursos também parecem ser previsões do que poderia ser um novo conjunto inteiro de óculos Meta chegando no próximo ano, que poderiam ter sua própria tela e talvez até mesmo uma pulseira de controle de gestos, com base em dicas que Mark Zuckerberg deu no Threads na semana passada depois de uma história escrita por Joanna Stern do Wall Street Journal. No momento, o modo Live AI parece um vislumbre estranho de um futuro de IA mais sempre conectado e mais intrusivo, que é mais um companheiro do que um ajudante a partir de minhas primeiras tentativas. E ainda assim, a tradução, quando funciona, parece surpreendentemente útil… mesmo que opere com algum atraso. O modo Live AI faz parte de um conjunto de recursos de acesso antecipado. É alternado separadamente. Ligar o Live AI significa iniciar a gravação de vídeo ao vivo. Embora o vídeo não seja salvo para você assistir mais tarde, ele é processado pela IA da Meta via seu telefone e transmitido para os óculos. A luz LED permanece acesa para notificar as pessoas que ela está ligada, mas em minha experiência as pessoas não notam a luz LED tanto assim ou simplesmente não parecem se importar. Qualquer coisa que você diga pode ser interpretada pela IA da Meta, então esqueça conversas com outras pessoas. No escritório, eu parecia apenas um cara estranho falando sozinho ou talvez, aparentemente, falando com outras pessoas (apenas para ter pessoas tentando falar comigo e perceber que eu não estava falando com elas). Mas o Live AI pode ser pausado tocando na lateral dos óculos. Encerrar o Live AI pode ser feito dizendo “Parar Live AI”, mas às vezes a Meta IA pensava que eu estava perguntando se ela era uma IA ao vivo – um momento “Who’s on first?” (Quem está primeiro?). Eu tive que gritar várias vezes antes que parasse. Com os óculos Ray-Bans da Meta, é difícil para alguém saber que você está usando tecnologia inteligente… ou conversando com a IA. O desafio com a IA ao vivo é descobrir o que fazer com ela. Andei pelo escritório perguntando sobre o posicionamento dos móveis e me disseram que tudo parecia bem: “o quarto parece ser bem projetado e funcional, não parecendo necessitar de mudanças óbvias”. Perguntei sobre uma história que estava escrevendo em meu laptop, e ele disse: “O texto parece ser um pedaço coeso e bem estruturado, sem partes que parecem desnecessárias”. Continuei tentando obter feedback construtivo, e era difícil conseguir algo que não fosse genérico, embora tenha destacado algumas linhas importantes e resumido meus pontos. Ao sair, ele me disse em que rua eu estava, mas estava errado – corrigi, e então ele simplesmente reconheceu e seguiu em frente. Ele sabia o banco Chase que eu estava olhando e me disse os horários do banco, e ele sabia do Joe’s Pub quando eu estava na entrada do Public Theater, mas não podia me dizer o que estava passando naquela noite. Ele conseguia reconhecer pombos comuns, confundiu um carro na calçada como um Mercedes (era um Lincoln) e recomendou, por alguma razão, um bar na rua que agora, segundo a Meta IA, “defunct” (extinto). O Live AI é um beta de acesso antecipado agora, mas também preciso entender para que servirá. A sensação de beta inicial e o propósito incerto podem se combinar para parecer ridículo. Ou inesperadamente profundo. De qualquer forma, mantê-lo em funcionamento terá um impacto na vida útil da bateria: 30 minutos de uso, em vez das horas que os Ray-Bans normalmente funcionam. A Tradução ao Vivo precisa baixar pacotes de idiomas individuais para funcionar. A tradução ao vivo funciona da mesma forma, iniciando sob solicitação. Mas os pacotes de idiomas precisam ser baixados para os idiomas específicos que você deseja traduzir: Espanhol para Inglês, por exemplo. Apenas Espanhol, Francês, Italiano e Inglês são suportados no momento, o que é decepcionante. Conversei com o colega do CNET, Danni Santana, nos agitados Astor Place, perto de nosso escritório em Nova York. Ele falou em Espanhol Dominicano, e eu falei em Inglês. As respostas traduzidas apareceram em meus ouvidos alguns segundos depois, e durante nossa conversa, eu senti que estava entendendo o suficiente. Não era perfeito: a IA de tradução parecia não entender algumas frases ou expressões idiomáticas. O atraso tornava difícil saber quando a tradução terminaria ou se mais ainda estava por vir. Tive dificuldade em julgar o tempo de minhas respostas para Danni, pois ele esperava pacientemente que eu falasse através da mesa. A Meta também mostra uma alimentação de transcrição ao vivo da conversa no aplicativo do telefone Meta View, no qual você pode se referir enquanto usa os óculos para mostrar à pessoa com quem está conversando ou clarificar o que foi dito. O recurso de tradução nos Ray-Bans parece ser muito mais instantaneamente útil do que o Live AI, mas também porque o Live AI ainda não deixou claro para que devo estar usando. Talvez eu possa ativá-lo enquanto cozinho ou monto um móvel do IKEA ou jogo um jogo de tabuleiro? Não sei. Me ajude a descobrir isso, Meta. Além disso, o fato de não ter nenhuma exibição de cabeça para cima faz com que o Live AI pareça que estou adivinhando o que os óculos estão observando. Claro que você também pode usar o Google Translate no seu telefone. A Meta está usando seus óculos para tradução de forma semelhante a como você usaria um par de fones de ouvido. Mas os óculos da Meta também podem ver e traduzir itens escritos, mas isso não faz parte do modo de tradução ao vivo conversacional. O projeto de óculos com realidade aumentada da Meta, Orion, tem sua própria pulseira de entrada neural e displays 3D de cabeça para cima. Quando esses recursos lentamente chegarão aos Ray-Bans? Os Ray-Bans da Meta, com um ano de idade, agora possuem várias características de IA importantes, cada uma mudando a equação de maneiras surpreendentes. As mais recentes adições de IA ao vivo parecem estar empurrando os limites do hardware, no entanto, reduzindo a vida da bateria. Gostaria de ter formas melhores de saber o que a IA pode ver ou de apontar com a mão para indicar o que eu quero perguntar. Óculos futuros podem seguir nessa direção, tanto com displays de cabeça para cima quanto com reconhecimento de gestos. O CTO da Meta, Andrew Bosworth, em uma conversa que tive com ele no final do ano, reconhece que estes são os próximos passos – mas o cronograma é incerto. Os óculos Orion da Meta – um par de óculos futuristas com displays 3D e um rastreador de gestos no pulso que eu testei anteriormente neste ano que pode reconhecer toques e beliscões com o dedo – ainda estão distantes de se tornarem reais. Mas a pulseira de entrada neural da Meta pode surgir mais cedo ou talvez uma forma de óculos equipados com câmera para reconhecer gestos de mão. E quanto a displays em óculos inteligentes, a Meta poderia explorar um display de cabeça mais pequeno para mostrar informações antes de entrar em displays de AR maiores e mais imersivos. Bosworth aponta para óculos AR de próxima geração em uma postagem recente no blog, mas será possível algo assim na próxima geração de óculos semelhantes aos Ray-Ban no próximo ano? “Controles baseados em gestos requerem câmeras voltadas para baixo e provavelmente alguma iluminação”, Bosworth diz sobre os óculos futuros da Meta. “Você poderia fazê-lo nos atuais Ray-Ban Metas – no Live AI, nós brincamos com ele – mas você simplesmente tem que fazê-lo no campo de visão da câmera.” No entanto, ele reconhece possibilidades de adicionar uma pulseira EMG aos óculos mais cedo do que tarde. “Agora você está adicionando um dispositivo que tem que ser carregado, é um custo adicional, é um peso extra, mas é tão conveniente.” Mas Bosworth vê a pulseira EMG sendo útil apenas quando há um display nos óculos – algo que os Ray-Bans ainda não têm…ainda. É provável que, quando os Ray-Bans tiverem algum tipo de display de cabeça para cima, uma pulseira de entrada possa estrear junto. Já vi algumas tentativas de ideias como essa em outros produtos. E então há a questão da vida útil da bateria: como esses óculos mais sempre conectados funcionarão por mais do que algumas horas de cada vez? Ou como isso aumentaria o custo de um par de óculos de próxima geração? Enquanto isso, a IA da Meta também pode atuar em áreas como a fitness, como algo que também transita para a realidade virtual, onde a Meta tem outra versão da Meta AI. “Seria muito incomum se, daqui a um ano, a IA que você está usando para rastrear seus passos no mundo e lhe dar conselhos não estiver também ciente de você também fazendo esses exercícios [na RV]”, diz Bosworth. À medida que o Live AI continua evoluindo, ter melhores formas de adicionar gestos pode ser absolutamente necessário. Bosworth vê apontar para coisas como sendo uma maneira fundamental de treinar a IA para melhorar no futuro. “À medida que as IAs melhoram, a necessidade desses gestos muito mais simples e intuitivos aumenta significativamente.” Os óculos Ray-Bans da Meta não me permitem apontar para coisas no momento, e isso faz com o Live AI pareça um pouco confuso de usar às vezes. Mas talvez isso necessite de hardware mais recente, e de gestos e displays adicionais, para dar o próximo salto.