0%
Bruno Rodrigues

Lab: Entendendo a janela de contexto

Transcrição

Uma dúvida muito comum que surge quando a gente está utilizando é modelos de linguagem, é exatamente qual que é o escopo de atuação dele, com qual informação ele lida por padrão? A gente está aqui no ChatGPT no modo padrão dele. É o mesmo que eu vou mostrar aqui para qualquer outra ferramenta, né? E tem algumas. A algumas funcionalidades que a gente pode habilitar ou não nesses produtos, que confundem um pouco o que eu vou explicar agora. Então vamos imaginar que essas funcionalidades estão todas desligadas, né? Na sequência, vou mostrar algumas delas. E vamos entender aqui qual que é o modo padrão. O modo padrão é o quê? Eu tenho um modelo de linguagem já treinado, né? Lembrando que ele é sempre treinado. Durante muitos meses, então ele fica super defasado, né? Isso eu posso inclusive, inquirir a maior parte desses modelos. Qual é a sua data de corte? Junho de 2024 então no momento dessa gravação aqui ele está há 1 ano e 3 meses defasado, né? Então para ele ele mesmo diz, né, para qualquer coisa. Depois disso, como eventos recentes, atualizações de software ou notícias, eu posso buscar informações atualizadas na web para você legal. Então essa é uma das coisas que confunde já um pouquinho, né? A todo o corpo de treinamento, todo o texto que foi utilizado para treinar. É esse modelo aqui? Essa versão do ChatGPT 5 foi coletada até junho de 2024. E se parou ali, né? E aí ficou. Ficaram ali treinando esse modelo, né? Realizando as inferências todas ali por. Muitos meses, né? Por algo próximo de 1 ano, provavelmente. Talvez um pouco menos, porque tem toda uma fase de validação. Então esse modelo ele está travado no tempo, né? Toda todas as páginas da Wikipédia que ele tem, de sites de notícias, de redes sociais. Tudo data até junho de 2024. Ele não conhece mais nada que vem depois disso. Agora, como ele mesmo está dizendo aqui, de vez em quando ele vai escolher pesquisar uma informação na internet, Ah, legal. Aí ele vai em tempo real lá no Bing. Né? Que é um mecanismo de busca que ele usa o ChatGPT. O Google gemy vai no Google, vai encontrar informações mais mais atualizadas e vai trazer aqui para complementar o conhecimento dele. Não é? Na verdade, ele vai trazer sem a gente ver de forma muito simples, né? Essa esse complemento de conhecimento é como se eu mesmo fosse lá no Google, pegasse 34 notícias relacionadas o que eu quero saber. Copiasse colasse aqui Na Na no chat e falasse, ó, tá aqui as informações mais atualizadas tem sobre esse assunto. Tendo isso em vista, me responda uma pergunta aqui, é isso que ele faz, né? Por trás dos panos, sem a gente ver? Então, beleza, essa é a data de corte dele. Essa formação é muito importante agora. Uma outra questão é. O que mais ele sabe além desse treinamento que foi feito, né? Toda essa informação genérica que foi alimentada nele durante o treinamento. Por padrão, mais nada, né? E o que ele não buscar na web? Por padrão, mais nada. Então todo o histórico de conversas que eu tenho aqui com o ChatGPT, tudo que eu já perguntei Pra Ele, né? Tudo que eu já contei sobre mim. Por padrão, ele não sabe nada, o contexto dele está sempre limitado a essa conversa que nós estamos tendo aqui. Esse é o conhecimento dele, né? Então, se eu perguntar assim, qual é o meu nome? Ele vai me responder. Eu não tenho acesso direto ao seu nome. Só consigo saber se você me disser ou se ele estiver mencionado em algum documento, e-mail ou mensagem que você compartilhar comigo durante a conversa. Quer me dizer como gostaria que eu te chame? Eu vou colocar aqui me chame de Bruno. Legal, agora eu vou criar uma conversa nova e vou perguntar. Qual é o meu nome? Ele vai me dizer a mesma coisa, percebam que ele até por padrão aqui vem, que bom te ver Bruno aqui não é o ChatGPT de verdade escrevendo isso, né? Esse é um texto fixo que está considerando o meu nome de usuário é que está cadastrado aqui no ChatGPT, mas vejam que entre 2 conversas diferentes ele perde essa formação, ele perde toda a informação, né? O que o ChatGPT está fazendo aqui é pegando o GPT 5, que é o modelo que foi treinado. Lá é que começou a ser treinado lá em junho de 2024, levou algo próximo de 1 ano para ser treinado, colocar as informações fixas. Ele está pegando o texto que eu estou escrevendo e dando para esse, para esse modelo. É fazer referência de qual que é o token mais adequado, né? Um depois do outro, qual que é a sílaba, a palavra mais adequada, uma depois da outra, de acordo? Com aquela base de treinamento, só isso, né? E eventualmente, como ele mesmo disse, ele pode fazer uma pesquisa na web. Ele vai falar OPA, tem coisas aqui que devo devo estar desatualizado, né? Ele vai fazer esse julgamento. E aí ele vai tomar essa decisão ou a gente vai pedir para ele também, explicitamente, que a gente pode fazer e ele vai lá na web, vai buscar algumas páginas e aí ele vai ter o quê? O modelo que foi treinado originalmente, mais esse contexto do que que ele achou na internet? Mais o meu prompt que eu colocar aqui, que aí ele vai fazer o cálculo dos tokens mais prováveis, um depois do outro, de acordo com esse conhecimento, com esse contexto. Que está sendo considerado ali, tá, então é esse funcionamento básico, né? Sempre assim que ele vai funcionar. E com um detalhe adicional também muito importante da gente sempre ter em mente que é o quê? AA janela de contexto, conforme a gente vai, né? É se eu colocar aqui pra por exemplo, crie. Um texto bem longo. Sobre. Inteligência. Artificial. Ele vai sair escrevendo esse texto aqui, né? Ele tem a uma limitação de tamanho de resposta que ele vai mandar pra gente. E essa limitação? É sempre. É uma é. Ele é sempre mais limitado do que ele consegue receber como prompt, né? Então, a partir do momento que eu mandei é que eu mandei esse prompt aqui para ele. E ele fez essa resposta, quando fizer uma nova pergunta, ele vai ter o quê como a janela de contexto agora? Meu prompt inicial, a resposta que ele deu. E meu novo prompt, né? Então, se eu pedir assim, resuma esse texto. Que você acaba de criar? Ele sabe que texto é esse que ele acaba de criar, porque ele está considerando para essa resposta e esse cálculo de tokens tudo o que vem acima da resposta dele. Incluindo meu prompt original lá em cima, A primeira resposta e esse novo prompt, então ele vai acumulando esse contexto. É e vejam que apesar de ele ter, né? Você pode falar assim, puxa, esse texto que ele ele devolveu não é tão longo assim, né? Se pedir um texto bem longo. Pois é, ele tem essa limitação de quanto que ele consegue devolver, que não é muita coisa, né? Mas a limitação do que ele consegue processar, o tamanho do prompt que ele vai receber, né? E é que eu não estou falando só do que a gente vai digitar aqui embaixo. Mas tudo o que veio antes que vai ser incluso também, né? Nesse prompt que eu estou enviando aqui de forma automática. Esse é um limite bem maior, né? Aqui ele consegue processar bem mais informação, então posso colar aqui, por exemplo. AO equivalente a um livro ou mais nas nas nas versões atuais desses algoritmos. E ele vai ter capacidade de processar essa quantidade de texto, né? Se eu exagerar aqui, ele vai ter um limite que ele vai falar OPA. Texto demais não consigo, né? E tem outra coisa que vai acontecer também, que é conforme a gente continuar conversando, conversando, conversando, conversando com ele nessa mesma janela, nesse mesmo contexto, nessa mesma conversa, eventualmente vai acumular tanto texto que vai bater o limite do que ele consegue processar de tokens, né? De quanto texto ele consegue processar. E aí o que ele vai fazer? Ele vai cortar. Então ele vai cortar e. A conversa que eu fui tendo com ele lá atrás, né, a meia 1 hora e foi e a gente foi falando mais e mais e mais e mais. Eventualmente, ele não vai conseguir processar tudo aquilo que a gente já falou e ele vai pular um pouquinho lá do começo. E isso é muito importante, porque ele começa a perder um contexto importante que pode estar lá atrás, né? De repente eu dei 11 instrução. Muito indispensável que ele não pode pular na minha primeira mensagem. Mas conforme a gente vai conversando, mais essa mensagem ficar tão para trás e vai sendo gerado tanto texto no meio do caminho que quando eu estiver conversando aqui com ele, um pouquinho mais para frente, ele já vai desconsiderar aquela mensagem é inicial, lá do começo. Porque ele não consegue processar ela, tá? Infelizmente não tem uma forma muito prática hoje de saber quando que ele tá. Ele não avisa a gente, né? Nenhum, nenhuma das ferramentas para o padrão avisa quando que ele está desconsiderando tudo o que vem lá para trás. Né, coisas que ficaram lá para trás quando o contexto ficou grande demais para ele processar. E a gente tem que tomar cuidado, né? Quando a conversa fica muito grande, às vezes começar uma conversa nova, né, é uma boa ideia também, é, essa conversa ficou longa e começa a ficar um pouquinho mais lento também quando a conversa está muito longa. Deixa eu pedir um resumo para ele do que importa ele mesmo fazer esse resumo, eu eu vejo, se está bom o resumo, copio e começo uma outra conversa em um em um. Limpa, não é? Nova em um contexto novo, porque esse contexto exageradamente grande pode também atrapalhar um pouco a qualidade das respostas dele, né? Então é bom fazer essa limpeza. Tem uma forma da gente contar. Quantos é tokens a gente tem? Dentro de um texto eu vou abrir aqui. Tá aqui esse é o chamado tokennaiser da open Eye, né? Ele é aberto gratuito no Google. E a gente pode aqui pegar, por exemplo, esse texto aqui que ele gerou pra gente. Dá 11 copiar. Colocar aqui nesse tokenniser. É bem legal que ele vai mostrar pra gente quantos caracteres tem nesse texto e quantos tokens, né? Aí vejam que nesse exemplo aqui na língua portuguesa ficou mais ou menos. 4 caracteres para cada token, né? E aí ele vai mostrar também como que ele está quebrando exatamente os tokens. Ou então, claro, é um token. A exclamação é outro, o espaço e aqui é outro. Está inteligência? Ele quebrou em. 3 tokens diferentes, né? Então é assim que ele funciona e é esse o limite que é é. É assim que ele vai calcular o limite. Por isso que também é difícil para ele dizer. Não é tão intuitivo para a gente, né? Saber quanto que quando que o meu texto vai bater esse limite, né? Nos modelos atuais, a gente quando sai um novo, fala assim, Ah, esse é um modelo que tem 300000 tokens de janela de contexto, né? Ou 1000000 de tokens e janela de contexto é isso aqui, né, 300000 tokens. Quer dizer que caberia? Ainda há muito texto, né? Muitas vezes. Esse tamanho aqui que a gente utilizou até ele perder a capacidade de lidar e ter que cortar ali uma informação que ficou muito. Para trás. Tem alguns recursos desses é desse, dessas ferramentas, dessas aplicações mais novas que podem confundir um pouquinho. Tudo isso que a gente discutiu agora, né? Então, no próprio GPT, se eu vier aqui em. Em configurações personalização é, a gente pode colocar algumas coisas aqui do tipo um recurso que ele chama de memória. EE nessas memórias, o que ele vai fazer é basicamente extrair das conversas que a gente tem com ele algumas informações interessantes, né? Que ele acha de interesse que vai virar texto aqui. Um texto, né? Bem simples, dizendo qual que é o nome da pessoa, tudo o que ele for acumulando de cada conversa. E que que ele vai fazer daí, né? Quando eu começar uma conversa nova, ele vai automaticamente já sem ou nem precisar ver aquilo. Ele vai trazer no contexto também aquelas memórias, onde vai estar, por exemplo, o meu nome. Aí você fala, nossa, que legal, ele sabe o meu nome, né? Ele está aprendendo e essa é uma confusão comum, né? Conforme eu converso com ele, está aprendendo sobre mim. Não exatamente, né? Aquele algoritmo original dele é o mesmo fixo no tempo. Defasadíssimo inclusive em tempo, né? O que ele tem agora é algumas anotações que ele fez. Sobre as conversas que eu tive com ele, que vão ficar aqui nessa janela, se eu habilitar esse recurso e ele vai fazer uma referência a essas anotações nas conversas que a gente tiver com ele, então é algo muito mais simples do que a. Prendendo, né? Ele não está, é ele não vai aprender, inclusive com feedback que a gente dá para ele, né? Ah, é, não gosto quando você escreve de tal jeito. Vamos é, seja mais curto nas nas suas respostas. Como? Como tudo vai funcionar para aquele contexto de conversa? Se ele tomar nota dessa preferência e colocar lá nas memórias, aí sim, isso vai ser considerado no futuro, né? Mas lembrando que é esse é uma é uma coletânea de anotações assim. Bem curtinha, né? É para quem usa muito ChatGPT é ou outros outras aplicações que tem esse tipo de funcionalidade? É muito difícil dizer que ele está realmente aprendendo sobre a gente no dia a dia com com aquele recurso, não recurso mais para deixar um pouquinho mais personalizado, como está dizendo aqui, né? Pra Ele lembrar do meu nome, de repente, onde eu moro, minha profissão. Coisas que eu pergunto em geral para ele. É, e aqui a gente pode inclusive colocar algumas customizações desse tipo, né? São todas coisas que esses essas ferramentas permitem e que vão meramente agregar aquele textinho ali no contexto, sem a gente ver em cada conversa, né? O apelido ocupação, né? Mais mais sobre mais sobre cada um dos usuários que estão utilizando. Então é isso, é possível também. E dependendo dos recursos que a gente vai utilizando, que ele de fato pesquisa em outras conversas também no recurso de criar projetos aqui no ChatGPT, isso é possível, é aí ele vai usar também como contexto outras conversas que eu tiver ali. É dentro daquele mesmo projeto, né? Mas importante a gente sempre lembrar, né? E conhecer esse funcionamento padrão da plataforma, né? EE, desses algoritmos. Os algoritmos de agenerativa é, eles não têm. Quando a gente fala de aprendizado de máquina, né, por exemplo, não se trata disso. Não é como se ele estivesse sempre evoluindo. Nem com todas as conversas que ele tem, né? Pelo contrário, esses treinamentos levam muito tempo para serem feitos, muito menos de forma individual com a gente. No máximo, ele está tomando ali algumas notas para deixar as conversas seguintes que ele tem com cada usuário um pouquinho mais personalizadas.