Os modelos de inteligência artificial generativa (IA Generativa) são sistemas de IA que têm a capacidade de gerar novos dados que são semelhantes aos dados em que foram treinados, o que inclui a geração de texto, imagens, música, voz e outros tipos de mídia. Exemplos populares incluem os modelos de linguagem como o Chat GPT (Generative Pre-trained Transformer) e sistemas de geração de imagens como o DALL-E.
Esses modelos geralmente são treinados em grandes conjuntos de dados, a partir dos quais aprendem padrões e características que posteriormente podem replicar de forma criativa para gerar conteúdo novo e único. Por exemplo, um modelo treinado em milhares de pinturas pode começar a gerar suas próprias imagens em estilos que parecem pinturas autênticas.
Diante de tamanho potencial de usos, estes modelos de inteligência artificial generativa (IA Generativa) estão cada vez mais avançados e capazes de gerar conteúdo sintético que pode ser indistinguível do criado por humanos.
Embora esses modelos ofereçam benefícios significativos, como a criação de arte digital, textos e soluções inovadoras em diversos campos, seu uso inadequado traz uma série de riscos potenciais que precisam ser compreendidos e gerenciados meticulosamente.
Pois é exatamente esta a visão que queria trazer para vocês detalhando abaixo alguns destes riscos já conhecidos desta nova poderosa ferramenta e alguns dicas de como mitigá-los:
Informação sobre armas químicas, biológicas, radiológicas e nucleares
Modelos de IA Generativa podem facilitar o acesso a informações sobre armas químicas, biológicas, radiológicas e nucleares, diminuindo as barreiras para entrada neste campo delicado e aumentando os riscos de proliferação desses materiais perigosos.
A disponibilidade e o acesso facilitado à informação sobre riscos químicos, biológicos, radiológicos e nucleares por meio de IA generativa podem ter implicações significativas para a segurança global. Modelos de IA, como chatbots, podem sintetizar e analisar dados de maneira que simplifique a compreensão de informações complexas sobre armamentos e agentes biológicos para indivíduos sem formação específica. Isso inclui a elaboração de informações detalhadas sobre rotas de proliferação de armas não convencionais, alvos vulneráveis e compostos bioquímicos existentes, assim como equipamentos e empresas capazes de produzir tais armas. Essa capacidade pode ser particularmente útil para atores maliciosos que buscam causar danos biológicos, elevando o risco de uso indevido dessas tecnologias.
No entanto o uso destas informações ainda exige conhecimento técnico especializado e infraestrutura de suporte, o que serve como uma barreira contra a materialização desses riscos em ameaças imediatas. Mesmo assim a vigilância contínua sobre a capacidade dos modelos de IA para facilitar o planejamento com armas é importante.
Mitigação:
- Implementar controles rigorosos de acesso e uso, incluindo autenticação robusta e monitoramento de atividades dos usuários.
- Desenvolver e aplicar políticas claras sobre o tipo de informações que os modelos podem gerar, com verificações e balanços de conformidade regulares.
Confabulação ou alucinação
Um dos grandes riscos na minha opinião está na geração sem supervisão ou filtro de conteúdo falso ou enganoso, também conhecido como "confabulação" ou "alucinação", que sabemos que é um problema significativo, e que ocorre quando a IA gera informações com confiança, mas que são essencialmente incorretas, levando a decisões mal informadas e potencialmente perigosas.
A confabulação em IA generativa descreve a produção e apresentação confiante de conteúdo falso ou incorreto que visa cumprir o objetivo programado de responder a uma solicitação do usuário. Esse fenômeno não é um defeito inerente aos modelos de linguagem, mas resulta de treinamentos de previsão de próxima palavra, onde o modelo pode criar narrativas que desviam da realidade, como erros sobre pessoas, lugares ou eventos históricos.
Esse tipo de erro pode ter consequências graves, especialmente em setores como o da saúde, onde informações médicas incorretas geradas por IA podem levar a diagnósticos e tratamentos equivocados. O problema se agrava com a tendência dos modelos de fornecer etapas lógicas para suas respostas, mesmo quando estas são incorretas, o que pode enganar os usuários a confiarem e agirem com base em informações falsas.
Mitigação:
- Aprimorar a validação dos dados e o treinamento dos modelos para reduzir erros de confabulação.
- Implementar mecanismos de revisão humana onde decisões críticas são necessárias, especialmente em campos sensíveis como medicina e justiça.
Recomendações Perigosas ou Violentas
Outro problema sério está em que os modelos de IA podem inadvertidamente gerar recomendações que incentivam comportamentos perigosos ou violentos, amplificando discursos de ódio ou incentivando atividades ilegais.
Os sistemas de IA generativa têm o potencial de gerar recomendações que incitam ou glorificam a violência, radicalização ou comportamentos antiéticos. Isso inclui a capacidade de modelos de linguagem para criar conteúdos que promovem atos de terrorismo ou manipulação de pessoas, além de modelos de texto-para-imagem que facilitam a criação de imagens perigosas que podem ser usadas para disseminar mensagens violentas. Esses riscos são extensíveis a outras mídias, como vídeo e áudio.
O controle de saída, que restringe respostas a certas solicitações, é uma medida paliativa que não necessariamente impede recomendações prejudiciais em resposta a consultas mais sutis ou novas, ou ainda em casos de "jailbreaking" (manipulação de prompts para contornar controles).
Além disso já foi observado que uma quantidade significativa de interações dos usuários com chatbots revela problemas de saúde mental, com os sistemas atuais muitas vezes incapazes de responder de forma adequada ou encaminhar esses usuários para a ajuda necessária.
Mitigação:
- Criar filtros e supervisões para detectar e bloquear conteúdo perigoso ou inadequado antes de serem gerados pelos modelos.
- Estabelecer diretrizes éticas claras para o desenvolvimento e uso de IA Generativa, garantindo que estas diretrizes sejam integradas ao ciclo de vida de desenvolvimento do modelo.
Privacidade de Dados
Não vamos esquecer da LGPD, e assim do problema da capacidade de inferir e divulgar informações pessoais sem autorização apresenta sérios riscos à privacidade, pois podem acessar e divulgar dados pessoais sensíveis, violando normas de privacidade.
Os sistemas de IA generativa apresentam múltiplos riscos à privacidade, principalmente devido à possibilidade de vazamento, geração ou inferência correta de informações pessoais sensíveis. Durante alguns testes foi detectado que grandes modelos de linguagem revelaram informações privadas ou sensíveis que foram incluídas em seus dados de treinamento. Esse fenômeno, conhecido como "memorização de dados", ocorre quando detalhes específicos são extraídos textualmente de documentos dentro dos conjuntos de dados de treinamento.
Além disso, a inferência de informações pessoais, que não estavam nos dados de treinamento ou não foram divulgadas pelo usuário, por meio da combinação de informações de diversas fontes, é uma preocupação crescente. Essas inferências podem ser corretas ou erradas, mas ambas têm o potencial de violar a privacidade ou levar a decisões adversas, incluindo decisões discriminatórias, sobre indivíduos com base em atributos como localização, gênero, idade ou inclinações políticas.
O risco associado a essas inferências destaca a necessidade de uma governança rigorosa e mecanismos de proteção robustos para proteger contra o uso indevido de dados em modelos de IA.
Mitigação:
- Adotar práticas de minimização de dados, coletando apenas os dados essenciais para a tarefa em questão e anonimizando dados sensíveis sempre que possível.
- Implementar técnicas de privacidade diferencial e criptografia para proteger os dados usados e gerados pelos modelos.
Impacto Ambiental:
Diante de uma forte agenda ESG, não dava para não comentar sobre o impacto do treinamento e a operação de grandes modelos de IA, que demandam uma quantidade significativa de recursos computacionais, o que acarreta em uma grande pegada de carbono e uso intensivo de energia, impactando negativamente o meio ambiente.
A operação de sistemas de IA generativa é intensiva em recursos, impactando significativamente o meio ambiente devido ao alto consumo de energia e emissões de carbono. Estima-se que o treinamento de um único modelo transformador de IA generativa possa emitir tanto carbono quanto 300 voos de ida e volta entre San Francisco e Nova York.
As tarefas generativas, como a sumarização de texto, provaram ser mais intensivas em termos de energia e carbono do que tarefas discriminativas ou não generativas.
Embora métodos como destilação de modelos ou compressão possam reduzir o impacto ambiental no momento da inferência, eles ainda contribuem significativamente para os impactos ambientais durante a afinação de hiperparâmetros e o treinamento. Essa grande pegada ambiental exige uma abordagem mais sustentável no desenvolvimento e operação de modelos de IA generativa.
Mitigação:
- Investir em eficiência energética e infraestruturas de computação verde para reduzir a pegada de carbono do treinamento e operação dos modelos.
- Explorar técnicas como a destilação de modelos para criar versões mais leves que consomem menos recursos.
Interação entre Humanos e Sistemas de IA:
A interação entre humanos e sistemas de IA pode levar a uma série de problemas, como a aversão a automatização, a dependência excessiva da tecnologia e a potencial manipulação de resultados.
A colaboração entre humanos e sistemas de IA pode ser prejudicada por uma série de fatores, incluindo a aversão à automação, onde especialistas podem desconfiar ou desvalorizar as saídas geradas pela IA.
Por outro lado, a confiabilidade crescente da tecnologia GAI pode levar a um viés de automação, onde há uma dependência excessiva dos sistemas de IA.
Especificações erradas de objetivos dos sistemas por desenvolvedores ou usuários podem fazer com que os modelos não operem como pretendido.
Isso também inclui o risco de envolvimento emocional entre humanos e sistemas de IA, que pode levar a riscos de segurança ou psicológicos por meio de coerção ou manipulação.
Mitigação:
- Desenvolver interfaces intuitivas que clarifiquem as capacidades e limitações dos modelos para os usuários.
- Promover treinamentos regulares e workshops para educar os usuários sobre os riscos e melhores práticas ao interagir com sistemas de IA.
Integridade da Informação:
Outro risco infelizmente grande, que é a disseminação de informações falsas ou enganosas (Fakenews) pode ser amplificada por modelos de IA Generativa, acabando com a confiança pública em sistemas de informação e potencialmente sendo utilizados para campanhas de desinformação em larga escala.
A integridade da informação refere-se ao espectro de informações e padrões associados à sua criação, troca e consumo na sociedade, onde informações de alta integridade podem ser confiáveis e distinguem fato de ficção, opinião e inferência.
Sistemas de IA Generativa facilitam o acesso à produção de conteúdo falso, impreciso ou enganoso em grande escala, que pode ser criado ou disseminado de forma não intencional, especialmente através de confabulações em resposta a consultas inocentes.
Modelos multimodais atuais e emergentes tornam possível não apenas gerar desinformação baseada em texto, mas também criar "deepfakes" audiovisuais altamente realistas e imagens sintéticas fotorealistas.
Tais capacidades amplificam a habilidade de atores mal-intencionados em produzir conteúdo direcionado a demografias específicas para campanhas de desinformação, que podem corroer a confiança pública em evidências verdadeiras ou válidas e influenciar negativamente os mercados e a opinião pública.
Mitigação:
- Estabelecer procedimentos rigorosos de verificação de fatos e origem dos dados para as informações geradas pelos modelos de IA.
- Implementar auditorias regulares e mecanismos de feedback para monitorar e corrigir rapidamente informações imprecisas ou enganosas.
Segurança da Informação:
Outro risco importante é a facilidade com que ataques cibernéticos podem ser realizados por meio de sistemas automatizados, o que aumenta o risco de violações de segurança, tornando sistemas essenciais mais vulneráveis a ataques.
A segurança da informação em sistemas de computação e dados é um campo maduro com práticas amplamente aceitas e padronizadas para capacidades cibernéticas ofensivas e defensivas.
No entanto, sistemas baseados em IA Generativa apresentam riscos de segurança da informação primários: o potencial para descobrir ou habilitar novos riscos de cibersegurança por meio da redução das barreiras para capacidades ofensivas, e a expansão simultânea da superfície de ataque, pois a própria IA Generativa é vulnerável a ataques novos como injeção de prompts ou envenenamento de dados.
A capacidade ofensiva avançada por sistemas de IA Generativa pode aprimorar ataques de segurança, como hacking, malware e phishing.
A complexidade da cadeia de valor da IA Generativa requer que práticas para identificar e proteger pontos de ataque potenciais ou ameaças a componentes específicos (por exemplo, entradas de dados, processamento, treinamento de IA e contextos de implantação) sejam adaptadas ou evoluídas.
Mitigação:
- Reforçar as práticas de segurança cibernética, incluindo testes regulares de penetração e red teaming.
- Utilizar técnicas avançadas de segurança, como aprendizado de máquina para detectar e responder a ameaças de segurança em tempo real.
Propriedade Intelectual:
Não podemos esquecer do risco de uso de conteúdo protegido por direitos autorais, sem autorização, nos treinamentos desses modelos, o que pode violar direitos de propriedade intelectual e causar perdas econômicas e éticas significativas.
Sistemas de IA Generativa podem infringir conteúdos protegidos por direitos autorais, segredos comerciais ou outros conteúdos licenciados. Esses tipos de propriedade intelectual frequentemente fazem parte dos dados de treinamento para sistemas de IA Generativa, especialmente modelos fundamentais, que formam a base de muitas aplicações de IA downstream.
As saídas do modelo podem infringir material protegido por direitos autorais devido à memorização de dados de treinamento ou à geração de conteúdo que é semelhante, mas não copia diretamente, o trabalho protegido por direitos autorais.
Violações da propriedade intelectual por sistemas de IA Generativa podem surgir quando o uso de obras protegidas por direitos autorais viola os direitos exclusivos do detentor dos direitos autorais e não é protegido por exceções como o uso justo.
Além disso, preocupações sobre o uso não autorizado de identidade pessoal ou semelhança também estão emergindo, comprometendo ainda mais os incentivos para que criadores humanos projetem e explorem trabalhos novos.
Mitigação:
- Implementar tecnologias de rastreamento e verificação de conteúdo para garantir que os materiais protegidos por direitos autorais não sejam usados de forma inadequada.
- Estabelecer parcerias e acordos de licenciamento com detentores de direitos autorais para o uso legal de conteúdos protegidos.
Conteúdo Obsceno ou Abusivo:
A geração de imagens, vídeos ou textos obscenos e abusivos, especialmente de maneira não consensual, é uma preocupação crescente, com implicações legais e morais.
A IA generativa pode facilitar a produção e o acesso a imagens íntimas obscenas e não consensuais de adultos e material de abuso sexual infantil. Embora nem todo conteúdo explícito seja legalmente obsceno, abusivo, degradante ou íntimo não consensual, esse tipo de conteúdo pode criar riscos de privacidade, psicológicos, emocionais e até físicos que podem ser mais facilmente desenvolvidos ou expostos por meio da IA generativa.
Mesmo quando treinados em dados "limpos", modelos de IA cada vez mais capazes podem sintetizar ou produzir imagens íntimas obscenas e não consensuais de adultos e material de abuso sexual infantil. O conteúdo AI gerado explícito ou obsceno pode incluir "deepfakes" altamente realistas de indivíduos reais, incluindo crianças, o que levanta sérias preocupações éticas e legais.
Mitigação:
- Utilizar filtros avançados e técnicas de inteligência artificial para detectar e bloquear a criação ou disseminação de conteúdo obsceno ou abusivo.
- Colaborar com organizações de vigilância e aplicação da lei para monitorar e responder a abusos.
Toxicidade, Viés e Homogeneização:
Mais um risco importante está na toxicidade, no viés e na homogeneização, com o uso de estereótipos e de algum viés em modelos de IA, o que pode resultar em prejuízos representacionais, promovendo uma homogeneização cultural e social indesejada.
A toxicidade aqui se refere a conteúdo ou linguagem negativos, desrespeitosos ou irracionais que podem ser criados ou intencionalmente programados em sistemas de IA generativa.
Controlar a criação e a exposição pública a conteúdo tóxico, que promove ódio ou que é denegridor e estereotipado gerado por IA, pode levar a danos representacionais.
Por exemplo, o viés em incorporações de palavras usadas por modelos de IA pode sub-representar mulheres quando solicitado a gerar imagens de CEOs, médicos, advogados e juízes. Outro dia uma pessoa reclamou das imagens que crio usando IA de que não tinha mulheres na mesa de um conselho.
O viés em modelos de IA ou dados de treinamento também pode prejudicar a representação ou preservar ou exacerbar o viés racial, separadamente ou além da toxicidade.
A homogeneização de IA pode resultar em estilos estéticos semelhantes, diversidade de conteúdo reduzida e promoção de opiniões ou valores selecionados em larga escala, o que pode criar pontos únicos de falha de discriminação ou exclusão que se replicam para muitas aplicações.
Mitigação:
- Assegurar que os conjuntos de dados sejam diversificados e representativos para evitar viés e homogeneização.
- Realizar avaliações regulares de impacto e viés para entender e mitigar os efeitos adversos dos modelos de IA.
Integração da Cadeia de Valor e Componentes:
A integração opaca de componentes de terceiros e dados em modelos de IA pode obscurecer a rastreabilidade e responsabilidade, complicando a gestão de riscos e reduzindo a transparência.
As cadeias de valor dos sistemas de IA generativa frequentemente envolvem muitos componentes de terceiros, como conjuntos de dados adquiridos, modelos pré-treinados e bibliotecas de software.
Esses componentes podem ser obtidos de forma inadequada ou não serem devidamente verificados, levando a uma transparência ou responsabilidade diminuída para os usuários finais.
Por exemplo, um modelo pode ser treinado em conteúdo não verificado de fontes de terceiros, o que pode resultar em saídas de modelo não verificáveis.
Devido à frequente participação de vários componentes de terceiros nos sistemas de IA generativa, pode ser difícil atribuir problemas no comportamento de um sistema a uma dessas fontes específicas.
Além disso, componentes de terceiros, como conjuntos de dados de "benchmark", podem ganhar credibilidade apenas pelo alto uso, em vez de qualidade, e podem apresentar problemas apenas quando devidamente verificados.
Mitigação:
- Aumentar a transparência na cadeia de valor e melhorar a rastreabilidade dos componentes usados nos sistemas de IA.
- Implementar auditorias regulares em componentes de terceiros para garantir que eles atendam aos padrões éticos e técnicos necessários.
Como podemos perceber acima, a gestão eficaz desses riscos requer uma abordagem mais ampla que inclua regulamentações rigorosas, práticas de desenvolvimento ético, transparência operacional e uma forte cultura de responsabilidade e conformidade legal, onde as empresas que forem usar IA (e todos nós um dia teremos que fazer uso desta nova poderosa ferramenta) devem conhecer estes riscos acima, e estar preparadas com estratégias robustas de gestão de riscos de IA para garantir que os avanços tecnológicos não superem a capacidade de controlar e mitigar seus potenciais efeitos negativos.
