No mundo dos grandes modelos de linguagem, a tecnologia que sustenta a inteligência artificial, o tamanho importa. E o Google disse que está permitindo que os usuários alimentem seu modelo Gemini 1.5 Pro com mais dados do que nunca. Durante a conferência de desenvolvedores Google I/O na terça-feira, o CEO da Alphabet, Sundar Pichai, disse que o Google está aumentando a janela de contexto do Gemini 1.5 Pro de 1 milhão para 2 milhões de tokens. Pichai disse que a atualização estará disponível para os desenvolvedores em “prévia privada”, mas não especificou uma data para quando poderá estar disponível de forma mais ampla. “É incrível olhar para trás e ver o quanto progredimos em poucos meses”, disse Pichai após anunciar que o Google está dobrando a janela de contexto do Gemini 1.5 Pro. “E isso representa o próximo passo em nossa jornada em direção ao objetivo final de contexto infinito.”
Modelos de linguagem grandes, como o Gemini 1.5 Pro, são modelos de IA que são treinados em enormes quantidades de dados para entender a linguagem, de forma que ferramentas como o Gemini – concorrente da gigante de buscas ChatGPT – possam gerar conteúdo que os humanos possam entender. Dobrar a janela de contexto do Gemini 1.5 Pro de 1 milhão para 2 milhões de tokens poderia melhorar drasticamente os resultados que você obtém com o LLM do Google. Mas tokens, janelas de contexto e outros termos de IA são decididamente nebulosos. E sem parte desse contexto que Pichai estava tão interessado em discutir, pode ser difícil saber por que 2 milhões de tokens são tão importantes. Continue lendo para obter uma introdução sobre tokens e como aumentar o número pode alterar a forma como você usa e interage com o Gemini no futuro.
Em IA, tokens são pedaços de palavras que o LLM avalia para entender o contexto mais amplo de uma consulta. Cada token é composto por quatro caracteres em inglês. Esses caracteres podem ser letras e números, é claro, mas também espaços, caracteres especiais e outros. Também é importante observar que o comprimento de um token individual varia de acordo com o idioma. À medida que os modelos de IA adicionam a capacidade de analisar imagens, vídeos e áudio, eles usam tokens da mesma forma para obter a imagem completa. Se você inserir uma imagem em um modelo para contexto, os modelos de IA quebram a imagem em partes, sendo que cada parte representa tokens. Os tokens são usados tanto como entradas quanto como saídas. Portanto, quando os usuários inserem uma consulta em um modelo de IA, o próprio modelo quebra as palavras em tokens, analisa e fornece uma resposta em tokens que são então convertidos em palavras que os humanos entendem.
- Maior contexto para o modelo Gemini 1.5 Pro.
- Tokens e sua importância para os modelos de IA.
- Janela de contexto e sua relevância para a compreensão e resultados dos modelos de IA.