0%
Bruno Rodrigues

Como funcionam os Modelos de Linguagem?

Transcrição

Agora, como funcionam os modelos de linguagem? Quando a gente envia algum texto para o modelo de linguagem, é o chamado prompt. O que eles fazem é procurar silaba, sílaba ou token, a token. O token é razoavelmente parecido com uma sílaba. Então uma forma da gente pensar nele não é uma forma de quebrar ali as palavras. E o algoritmo vai procurar o token mais provável, de acordo com todos os tolkens que vêm antes. Isso inclui nosso próprio prompt e também os tokens que ele já adicionou depois o nosso prompt. Então, por exemplo, se eu falo assim, hoje o céu está muito. Qual que é a maior probabilidade de palavra para vir na sequência disso? Qual que é a palavra? Ou as os tokens que vêm na sequência disso, mais comuns no texto que foi utilizado por treinamento, em todo o texto que foi utilizado por treinamento daquele modelo. E aí ele vai considerar essas probabilidades. Uma palavra muito provável pode ser punido. Hoje o céu está muito bonito, talvez seja a mais provável depois disso. Agora a gente também pode falar que o céu está muito nublado, então quanto mais vezes ele vê aquela mesma sequência, maior vai ser a chance. Dele entregar aqueles mesmos toques, aquelas mesmas palavras, e aí ele vai recalcular essa probabilidade na sequência disso. Hoje o céu está muito bonito. Que que vem depois disso, quando a gente já tem essa composição, essa frase pronta, e aí pode parecer algo muito simples, né? Mas é assim que esses modelos funcionam. É meramente uma máquina probabilística. Ele está sempre tentando ali. Encontrar, da base de treinamento dele, qual que é o token mais provável? Um depois do outro para construir uma resposta. E por isso que a gente vê também é sempre aquela resposta sendo construída pedacinho a pedacinho, não é? Ele está saindo com um token com algo parecido com o tamanho de uma sílaba. E recalculando a probabilidade do próximo de acordo com tudo que vem antes, o próprio prompt e o que ele já mesmo colocou na resposta, então ele vai token a token, calculando sempre o próximo token. Mais provável. É simples assim. Claro que a implementação é bem mais complexa. É é do que parece, né? E existem outras complexidades ali envolvidas. Mas esse é o funcionamento básico, é uma máquina probabilística. Que vai sempre tentar sair com um token ou uma sílaba, algo próximo a uma sílaba, um token depois do outro. É com a resposta, né? E aí isso permite que ele gere textos, traduza textos. EE. Tem algumas coisas muito interessantes que acontecem aí, né, que a gente chama de propriedades emergentes, coisas que nem necessariamente a gente esperava dos modelos quando eles foram criados e treinados. Mas redes neurais e deep learning funciona assim. É depois que a gente ativa esses modelos, a gente detecta a capacidades ali. EE. Possibilidades que não estavam nem antes previstas. Os modelos ficam, por exemplo, muito bons em traduzir textos dessa forma. Não necessariamente ele tem na base de treinamento dele. AA tradução de todas as palavras, uma para outra certinho. Mais depois de tanto ver aquelas probabilidades, tanto ver aquelas relações, ele consegue traduzir praticamente qualquer texto entre idiomas diferentes que estejam na base de treinamento dele. E melhor do que isso, ele consegue fazer até poesia, né? E a poesia é um exemplo muito interessante, porque é muito fácil a gente testar um tipo de poesia que certamente não consta na base de treinamento daquele modelo. Então a gente pode pedir, por exemplo, uma poesia no estilo de Álvares e Azevedo sobre fios de computador. É um assunto muito desértico e que não vai ter nada na base de treinamento dele. Mesmo assim, ele vai ter essa capacidade. E essa há mais uma propriedade emergente, um tipo de criatividade, habilidade de algo parecido com o raciocínio que surge ali de tanta relação entre palavras, né? Que o modelo v de tanta relação entre esses tokens durante o seu treinamento?