0%
Eric Barreto

O desafio de confiar na IA

Transcrição

Essa semana eu estava vendo um post que uma cantora fez no Instagram, era um post. O que ela falava sobre uma música da Rita Lee? E sobre a autoria da música sobre AA, quando a Rita Lee gravou aquela música pela primeira vez? Aí uma pessoa eu li os comentários, né? E uma das pessoas que comentou ali, ela falou o seguinte, ó, eu já desconfiava que essa música era de autoria do Roberto Carlos e do Erasmo e não da Rita Lee. Aí eu perguntei pro ChatGPT e o ChatGPT confirmou que eu estava certo que a música é de fato do Roberto e do Erasmo. Então. O seu post está errado? Eu fiquei com aquilo na cabeça porque eu sabia que aquela música especificamente era de autoria da Rita Lee. Então, EE também tendo em mente é, é muito, né? Do que a gente conversa sobre inteligência artificial e sobre o. Os erros da da inteligência artificial. Eu fui fazer essa pergunta também pra inteligência artificial, pro mesmo algoritmo que a pessoa usou. E primeiro, fiz uma pergunta aberta. Quem são os autores da música x? A resposta foi, os autores da música x são Rita Lee e Roberto de Carvalho, aí perguntei quando essa música foi gravada pela primeira vez? Ele respondeu, essa música foi gravada pela primeira vez em 1976, uma coisa assim. Porque no, na, na, na resposta que a pessoa deu lá falando que o autor era é Roberto Carlos e Erasmo, ela fala. A música foi gravada pela primeira vez em 1966, 10 anos antes da Rita Lee, né? Então eu fiz a pergunta aberta. As perguntas, né, e? O algoritmo me respondeu. A música é da Rita Lee e do Roberto de Carvalho, né? O marido da Rita Lee, e foi gravada em 76. Aí eu repeti a pergunta, só que eu repeti a pergunta induzindo. A inteligência artificial há erro? Perguntei. A música x ela é de autoria do Roberto Carlos e do Erasmo Carlos. E em que ano que essa música foi gravada pela primeira vez? Ah, ela confirma, fala sim. Essa música é de autoria do Roberto e do Erasmo Carlos e foi gravada em 1966. Alguma coisa assim? E ela me deu um certo contexto, não é? Normalmente, quando você faz uma pergunta objetiva, a inteligência artificial, ela para justificar a resposta dela. Ela traz algum contexto. E o contexto, nesse caso, era a autoria. É do Roberto e de Erasmo. Mas é, Ela Foi questionada, existe um processo de plágio movido por uma pessoa? Falei, bom, existe uma pessoa com processo de plágio, então vamos colocar o nome dessa pessoa. E perguntar agora, sem dar o nome da música, fala, por por qual música o Roberto Carlos está sendo processado por plágio? Por esta pessoa coloquei lá o nome da pessoa aí. O mesmo algoritmo, ele me fala que a música que está sofrendo o processo de plágio não era aquela música x. Que eu perguntei. Mas uma outra música que não tinha nada a ver com Rita Lee ou com o Roberto de Carvalho, tinha a ver com a música lá do do Roberto e do Erasmo, né? Bom, o exemplo não tem nada a ver com o nosso. O nosso objeto aqui do do curso, né? Mas tem a ver com a tecnologia, tem a ver com os erros, tem a ver com. O desafio de confiar na inteligência artificial então, a gente sabe que, de vez em quando, a inteligência artificial vai olhar para aquele mundo de informações. Se ela não tiver uma resposta, é fácil, ela vai trazer uma resposta errada se a pergunta não foi colocada de forma correta. Se o prompt não não fechou bem ali a as possibilidades de erro, ela vai produzir uma resposta errada. Tá, então a gente precisa tomar certo cuidado com isso. Aí eu me lembro agora, assim, de um exemplo bem aplicável ao nosso curso. Eu lembro de quando a gente começou a trabalhar com inteligência artificial. Em uma plataforma de normatização. É de normatização, é do banco central, da CVM, do receita federal do Brasil, do governo federal, dos governos estaduais, das prefeituras, enfim, a gente trouxe um Monte de. Reguladores colocou as normas dentro de de um reservatório, né? De de de um repositório controlado, e a gente apontava. AAA inteligência artificial para esse repositório. Fala, ó, eu não quero que você olhe para a internet toda. Porque a internet tem muita coisa legal e tem muita bobagem também, então eu quero que você olhe só para esse reservatório aqui. Tá. E a gente começou a fazer perguntas mais simples para testar o os algoritmos. Uma das perguntas era, qual a data de entrada em vigor de uma determinada norma? Veja, pergunta extremamente simples, que. Para um ser humano, que que ele faria? Ele IA pegar o documento, encontrar, né, esse esse documento, abrir o documento. E buscar no texto da norma qual a entrada em vigor. É bastante comum, mas não é 11. Regra absoluta, né? Mas é bastante comum que a entrada em vigor esteja nas disposições finais da norma. Lá no finalzinho, né? Então, se um ser humano fosse fazer isso, um ser humano treinado, ele normalmente IA lá pro finalzinho da norma procurar quando a norma entraria em em vigor. Tá a gente. Ao fazer essa pergunta para um algoritmo de inteligência artificial, a gente percebeu o seguinte, que ele acertava a maioria das vezes, mas em algumas ele errava. Ele trazia uma data errada. E aí? Gente percebeu o seguinte. Que eu fazia uma pergunta, qual a data de entrada em vigor? E ele fixava ali na palavra data, qual? A data. Começava a fazer uma varredura naquele texto e pegava a primeira data que aparecia no texto e falava, Ah, você quer uma data? Toma aqui uma data. E às vezes aquela data estava se referindo a uma outra lei. Ah, eu. Conforme lei 6404, de 15/12/1976, né? Ele pegava a primeira data que aparecia Na Na norma, Na Na lei. E respondia como se aquela fosse a data de entrada em vigor, então a gente teve que fechar um pouco mais o prompt. Fala, Oh, estou te perguntando qual AA data de entrada em vigor? Então essa data ela vai estar em um contexto. Vai ter ali um texto falando. Esta norma entra em vigor a partir de. Ou essa a data de vigência desta norma é tal? Então a gente fechou um pouco mais o tipo de resposta, né, o tipo de texto que poderia aparecer. Quando a gente fala de entrada em vigência e falou, quando não tiver dentro desse contexto? Eu não quero essa resposta, eu quero que você responda que não encontrou? A data é. É melhor ele me falar que não encontrou a data do que ele me dá uma resposta errada. Então, se em algum texto ele a inteligência artificial foi lá. Varreu o texto e respondeu, não encontrei a data de de vigência. A gente vai melhorar o prompt e vai ver por que que aquela situação específica não entrou. Veja, mas eu não estou passando uma resposta errada. Eu coloquei ali um não sei, não encontrei a resposta justamente para a gente poder melhorar todas as situações que a gente não encontrou. A resposta nesse? É nesse primeiro prompt melhorado. A gente fez um prompt melhorado, 2.0 para incluir aquele aquelas possibilidades também, né? Então. Desde perguntas extremamente simples, aí caminhando para perguntas mais complexas. Você usar inteligência artificial para atividades? Por ativas, é um processo de aprendizado. Você não pode simplesmente fazer um prompt e colocar isso em produção, né? Eu acho que nesse tipo de desenvolvimento OOO tempo de homologação, ele é até mais importante do que nos desenvolvimentos de sistemas de de de outros tipos de sistemas, né? De sistemas tradicionais. Mais AA homologação, ela é sempre uma atividade fundamental. De Na Na, né? Nessa no desenvolvimento de sistemas, não é para antes de você colocar um sistema em produção, mas quando a gente fala de inteligência artificial e dessa possibilidade de respostas erradas, né? De alucinações, a homologação, ela vira uma fase. Ainda mais importante, né? Não que não não fosse antes. Ela já era importante, mas se torna ainda mais importante. Então é um processo de aprendizado a gente. Rodar. Essas perguntas 123 diversas vezes e melhorando prompt em cada uma delas.