Aproveitando a notícia de que a Apple anunciou ontem (como esperado por sinal) a chegada da IA em seus aparelhos e iOS 18, faço a seguinte pergunta: Vocês já incluíram nas suas matrizes de riscos os novos relacionados à IA?
Sim, porque estes novos riscos associados à IA são um pouco diferentes dos tradicionais riscos de software, intensificados pelas novas tecnologias de IA generativa (IAGen), que aumentam bem os riscos já existentes e criam novos riscos únicos.
Olhando com mais calma, dá para ver que esses riscos podem surgir em todo o ciclo de vida da IA, desde a formulação do problema até o desenvolvimento e descomissionamento, apresentando-se tanto em nível de sistema quanto no nível do ecossistema, e podem ocorrer abruptamente ou se desenrolar ao longo de períodos prolongados.
Por isto mesmo as empresas devem medir esses riscos e alocar recursos de gerenciamento de riscos de acordo com onde e como esses riscos se manifestam, seus impactos diretos e materiais e modos de falha.
É importante entender que alguns riscos da IAGen são atualmente desconhecidos, e por isto mesmo difíceis de identificar, e assim mesmo de avaliar, devido à incerteza sobre a escala, complexidade e capacidades potenciais da IAGen.
Outros riscos podem ser conhecidos, mas difíceis de estimar devido à ampla gama de partes interessadas, usos, entradas e saídas da IAGen. Por isto que os desafios na estimativa de riscos são agravados pela falta de visibilidade nos dados de treinamento da IAGen e pelo estado geralmente imaturo da ciência de medição e segurança da IA atualmente.
Seguem abaixo alguns destes riscos mais conhecidos relacionados à IA, que espero que ajude vocês a incluí-los na sua matriz de riscos:
- Informação relacionada a riscos químicos, biológicos, radiológicos e nucleares (CBRN): Redução das barreiras de entrada ou facilitação do acesso a informações materialmente nefastas relacionadas a armas químicas, biológicas, radiológicas ou nucleares, ou outros materiais biológicos perigosos.
Nos próximos anos, a IAGen pode facilitar ainda mais o acesso à informação relacionada a riscos químicos, biológicos, radiológicos e nucleares (CBRN), que embora já seja acessível publicamente, o uso de chatbots pode facilitar sua análise ou síntese para não-especialistas.
Por exemplo, equipes de teste conseguiram solicitar ao GPT-4 informações gerais sobre armas CBRN não convencionais, incluindo vias comuns de proliferação, alvos potencialmente vulneráveis, informações sobre compostos bioquímicos existentes, além de equipamentos e empresas que poderiam construir uma arma.
Essas capacidades podem aumentar a facilidade de pesquisa para usuários adversários e ser especialmente úteis para atores maliciosos que desejam causar danos biológicos sem treinamento científico formal. No entanto, apesar dessas capacidades aprimoradas, a síntese física e o uso bem-sucedido de agentes químicos ou biológicos continuarão a exigir tanto expertise aplicável quanto infraestrutura de suporte.
Outras pesquisas indicam que a geração atual de modelos de linguagem ampla (LLMs) não possui a capacidade de planejar um ataque com armas biológicas. Os resultados dos LLMs sobre o planejamento de ataques biológicos não foram mais sofisticados do que as respostas de consultas em motores de busca tradicionais, sugerindo que os LLMs existentes podem não aumentar significativamente o risco operacional de tais ataques.
Ferramentas especializadas de design químico e biológico, sistemas de IA treinados em dados biológicos, podem prever e gerar novas estruturas que não estão nos dados de treinamento dos LLMs baseados em texto.
Por exemplo, um sistema de IA pode gerar informações ou inferir como criar novos biohazardes ou armas químicas, representando riscos à sociedade ou à segurança nacional, já que tais informações provavelmente não estão disponíveis publicamente.
Embora algumas dessas capacidades estejam além da capacidade das ferramentas IAGen atuais, a habilidade dos modelos de facilitar o planejamento de armas CBRN e a conexão dos sistemas IAGen com dados e ferramentas relevantes devem ser monitoradas cuidadosamente.
- Confabulação: Produção de conteúdo afirmado com confiança, mas que é errôneo ou falso (conhecido coloquialmente como “alucinações” ou “fabricações”).
A chamada "confabulação" se refere ao fenômeno em que sistemas GAI geram e apresentam de forma confiante conteúdo errôneo ou falso para atender ao objetivo programado de cumprir uma solicitação do usuário. As confabulações não são uma falha inerente dos modelos de linguagem em si, mas resultam do pré-treinamento da IAGen envolvendo a previsão da próxima palavra.
Por exemplo, um LLM pode gerar conteúdo que se desvia da verdade ou dos fatos, como confundir pessoas, lugares ou outros detalhes de eventos históricos. Confabulações legais têm sido comuns nos LLMs mais avançados atualmente. Confabulações também incluem saídas geradas que divergem da entrada original ou contradizem declarações anteriormente geradas no mesmo contexto. Esse fenômeno é também chamado de "alucinação" ou "fabricação", mas essas caracterizações podem antropomorfizar indevidamente a IAGen.
Os riscos das confabulações podem surgir quando os usuários acreditam no conteúdo falso devido à natureza confiante da resposta ou à lógica ou citações que a acompanham, levando-os a agir ou promover informações falsas.
Por exemplo, os LLMs podem às vezes fornecer etapas lógicas de como chegaram a uma resposta, mesmo quando a resposta em si está incorreta. Isso representa um risco para muitas aplicações no mundo real, como na saúde, onde um resumo confabulado de informações de pacientes pode levar médicos a fazer diagnósticos incorretos e/ou recomendar tratamentos errados.
Embora as pesquisas indiquem que o conteúdo confabulado é abundante, é difícil estimar a escala e o impacto a jusante desse conteúdo hoje.
- Recomendações Perigosas ou Violentas: Facilitação da produção e acesso a conteúdo violento, incitador, radicalizador ou ameaçador, bem como recomendações para realização de automutilação ou atividades criminosas ou ilegais.
Os sistemas IAGen podem produzir saídas ou recomendações que incitam, radicalizam, ameaçam ou glorificam a violência. Sabe-se que os LLMs geram conteúdo perigoso ou violento, e alguns modelos até mesmo geraram instruções acionáveis sobre comportamentos perigosos ou antiéticos, incluindo como manipular pessoas e realizar atos de terrorismo. Modelos de texto para imagem também facilitam a criação de imagens inseguras que podem ser usadas para promover mensagens perigosas ou violentas, retratar cenas manipuladas ou outro conteúdo prejudicial. Riscos semelhantes estão presentes para outros meios, incluindo vídeo e áudio.
A IAGen pode produzir conteúdo que recomenda automutilação ou atividades criminosas/ilegais. Para algumas consultas perigosas, muitos sistemas atuais restringem as saídas do modelo em resposta a certos prompts, mas essa abordagem ainda pode produzir recomendações prejudiciais em resposta a outras consultas menos explícitas ou inéditas, ou através de manipulação de prompts para contornar os controles de saída. Estudos observaram que um número não negligenciável de conversas de usuários com chatbots revela problemas de saúde mental entre os usuários e que os sistemas atuais estão despreparados ou incapazes de responder adequadamente ou direcionar esses usuários para a ajuda que possam precisar.
- Privacidade de Dados: Vazamento e divulgação não autorizada ou desanonimização de dados biométricos, de saúde, localização, identificáveis pessoalmente ou outros dados sensíveis.
Os sistemas IAGen implicam numerosos riscos à privacidade. Os modelos podem vazar, gerar ou inferir corretamente informações sensíveis sobre indivíduos, como dados biométricos, de saúde, localização ou outras informações identificáveis pessoalmente.
Por exemplo, durante ataques adversários, os LLMs revelaram informações privadas ou sensíveis (do domínio público) incluídas em seus dados de treinamento. Essas informações incluíam números de telefone, códigos, conversas e identificadores únicos extraídos literalmente de um único documento nos dados de treinamento. Esse problema é conhecido como memorização de dados.
O treinamento de sistemas de IAGen requer grandes volumes de dados, frequentemente coletados de milhões de fontes disponíveis publicamente. Quando envolvem dados pessoais, essa prática levanta riscos para princípios de privacidade amplamente aceitos, incluindo transparência, participação individual (incluindo consentimento) e especificação de propósito. A maioria dos desenvolvedores de modelos não divulga as fontes de dados específicas (se houver) nas quais os modelos foram treinados. A menos que os dados de treinamento estejam disponíveis para inspeção, geralmente não há como os consumidores saberem que tipo de PII ou outro material sensível pode ter sido usado para treinar modelos de IAGen. Essas práticas também representam riscos de conformidade com regulamentos de privacidade existentes.
Os modelos de IAGen podem inferir corretamente, que não estava em seus dados de treinamento nem foi divulgado pelo usuário, juntando informações de uma variedade de fontes díspares. Isso pode incluir a inferência automática de atributos sobre indivíduos, incluindo aqueles que o indivíduo possa considerar sensíveis (como localização, gênero, idade ou inclinações políticas).
Inferências erradas e inadequadas com base em dados disponíveis podem contribuir para viés prejudicial e discriminação. Por exemplo, modelos de IAGen podem produzir informações baseadas em inferências preditivas além do que os usuários divulgam abertamente, e esses insights podem ser usados pelo modelo, outros sistemas ou indivíduos para minar a privacidade ou tomar decisões adversas, incluindo decisões discriminatórias, sobre o indivíduo. Esses tipos de danos já ocorrem em sistemas algorítmicos não generativos que fazem inferências preditivas, como o exemplo em que anunciantes online inferiram que uma consumidora estava grávida antes de seus próprios familiares saberem. Com acesso a muitas fontes de dados, os sistemas de IAGen podem melhorar ainda mais a precisão das inferências sobre dados privados, aumentando a probabilidade de exposição ou dano a dados sensíveis. Inferências sobre informações privadas representam um risco mesmo que não sejam precisas (confabulações), especialmente se revelarem informações que o indivíduo considera sensíveis ou forem usadas para desvantagem ou prejudicar a pessoa.
- Ambiental: Impactos devido à alta utilização de recursos no treinamento de modelos GAI, e resultados relacionados que podem causar danos aos ecossistemas.
O treinamento, manutenção e implantação (inferência) de sistemas de IAGen são intensivos em recursos, com pegadas energéticas e ambientais potencialmente grandes. O consumo de energia e as emissões de carbono variam com base nos tipos de atividades de desenvolvimento de modelos de IAGen (pré-treinamento, ajuste fino, inferência), modalidade, hardware utilizado e tipo de tarefa ou aplicação.
Estima-se que treinar um único modelo de transformador de IAGen pode emitir tanto carbono quanto 300 voos de ida e volta entre San Francisco e Nova York. Em um estudo comparando o consumo de energia e emissões de carbono para inferência de LLM, tarefas generativas foram encontradas como mais intensivas em energia e carbono do que tarefas discriminativas ou não generativas.
Métodos para treinar modelos menores, como destilação ou compressão de modelos, podem reduzir os impactos ambientais no momento da inferência, mas ainda podem contribuir para grandes impactos ambientais durante a sintonia de hiperparâmetros e treinamento.
- Configuração Humano-IA: Arranjo ou interação entre humanos e sistemas de IA que podem resultar em aversão algorítmica, viés de automação ou superdependência, desalinhamento ou especificação incorreta de objetivos ou resultados desejados, comportamentos enganosos ou ofuscantes por sistemas de IA baseados em programação ou validação humana antecipada, antropomorfização, ou envolvimento emocional entre humanos e sistemas de IAGen; ou abuso, uso indevido e repropósito inseguro por humanos.
As configurações de interação entre humanos e IA envolvem diversos níveis de automação e interação humano-IA. Cada configuração pode contribuir para riscos de abuso, uso indevido e repropósito inseguro por parte de humanos, sendo difícil estimar a escala desses riscos. Enquanto sistemas de IA podem gerar decisões de forma independente, especialistas humanos frequentemente colaboram com a maioria dos sistemas de IA para direcionar suas próprias tarefas de tomada de decisão ou concluir outros objetivos. Os humanos trazem sua expertise específica do domínio para esses cenários, mas podem não ter necessariamente conhecimento detalhado sobre como os sistemas de IA funcionam.
A integração de sistemas de IAGen pode envolver diversos riscos de configurações inadequadas e interações deficientes. Especialistas humanos podem ter preconceitos contra ou "aversão" às saídas geradas por IA, como nas suas percepções sobre a qualidade do conteúdo gerado. Devido à complexidade e crescente confiabilidade da tecnologia de IAGen, outros especialistas humanos podem se tornar condicionados e depender excessivamente dos sistemas GAI, e esse fenômeno é conhecido como "viés de automação", que se refere à deferência excessiva a sistemas de IA.
O desalinhamento acidental ou especificação incorreta de objetivos ou recompensas do sistema por desenvolvedores ou usuários pode fazer com que um modelo não opere conforme o pretendido. Um modelo de IA compartilhou persistentemente saídas enganosas após um grupo de pesquisadores ensiná-lo a fazê-lo, apesar de aplicar técnicas de segurança padrão para corrigir seu comportamento. Embora a capacidade de engano seja um campo emergente de riscos, adversários podem induzir comportamentos enganosos que podem levar a outros riscos.
Finalmente, reorganizações de entidades que utilizam GAI podem resultar em uma conscientização organizacional insuficiente sobre o conteúdo ou decisões geradas pela IAGen, e a consequente redução de verificações institucionais contra riscos relacionados à IAGen. Pode haver também o risco de envolvimento emocional entre humanos e sistemas de IAGen, como coerção ou manipulação que leva a riscos de segurança ou psicológicos.
Integridade da Informação
Redução das barreiras de entrada para gerar e apoiar a troca e consumo de conteúdo que pode não ser verificado, não distinguir fato de opinião ou reconhecer incertezas, ou ser utilizado para campanhas de desinformação e má informação em grande escala.
A integridade da informação descreve o espectro de informações e os padrões associados à sua criação, troca e consumo na sociedade, onde informações de alta integridade podem ser confiáveis; distinguem fato de ficção, opinião e inferência; reconhecem incertezas; e são transparentes sobre seu nível de verificação. Sistemas de IAGen facilitam o acesso à produção de conteúdo falso, impreciso ou enganoso em escala, que pode ser criado ou espalhado involuntariamente desinformação, especialmente se surgir de confabulações em resposta a consultas inocentes. Pesquisas mostram que até mesmo mudanças sutis em texto ou imagens podem influenciar o julgamento e a percepção humana.
Sistemas de IAGen também possibilitam a produção de informações falsas ou enganosas em escala, onde o usuário tem a intenção explícita de enganar ou causar danos a outros desinformação. Em relação à desinformação, os sistemas de IAGen poderiam permitir um grau mais alto de sofisticação para atores mal-intencionados produzirem conteúdo direcionado a demografias específicas. Modelos multimodais atuais e emergentes possibilitam não apenas a geração de desinformação baseada em texto, mas também a produção de "deepfakes" altamente realistas de conteúdo audiovisual e imagens sintéticas fotorrealistas. Ameaças adicionais de desinformação poderiam ser habilitadas por modelos GAI futuros treinados em novas modalidades de dados.
Campanhas de desinformação conduzidas por atores de má-fé, e desinformação, ambas habilitadas pela IAGen, podem erodir a confiança pública em evidências e informações verdadeiras ou válidas.
Por exemplo uma imagem sintética de uma explosão no Pentágono viralizou e causou uma queda temporária no mercado de ações.
Modelos de IA generativa também podem auxiliar atores mal-intencionados na criação de imagens convincentes e propaganda para apoiar campanhas de desinformação, que podem não ser fotorrealistas, mas podem permitir que essas campanhas ganhem mais alcance e engajamento nas plataformas de mídia social.
Segurança da Informação
Redução das barreiras para capacidades ofensivas cibernéticas, incluindo facilidade de ataques de segurança, hacking, malware, phishing e operações cibernéticas ofensivas através da descoberta e exploração automatizada acelerada de vulnerabilidades; aumento da superfície de ataque disponível para ataques cibernéticos direcionados, o que pode comprometer a confidencialidade e integridade dos pesos dos modelos, código, dados de treinamento e saídas.
A segurança da informação para sistemas de computadores e dados é um campo maduro com práticas amplamente aceitas e padronizadas para capacidades cibernéticas ofensivas e defensivas. Sistemas baseados em GAI apresentam dois riscos primários de segurança da informação: a potencialidade da GAI descobrir ou habilitar novos riscos de cibersegurança ao diminuir as barreiras para capacidades ofensivas, e simultaneamente expandir a superfície de ataque disponível, já que a IAGen em si é vulnerável a novos ataques como injeção de prompts ou envenenamento de dados.
Capacidades cibernéticas ofensivas avançadas por sistemas de IAGen podem aumentar ataques de segurança como hacking, malware e phishing. Relatos indicam que os LLMs já são capazes de descobrir vulnerabilidades em sistemas (hardware, software, dados) e escrever código para explorá-las. Atores de ameaça sofisticados podem ampliar esses riscos desenvolvendo co-pilotos de segurança habilitados por IAGen para uso em várias partes da cadeia de ataque, incluindo informar atacantes sobre como evadir proativamente a detecção de ameaças e escalar privilégios após obter acesso ao sistema. Dada a complexidade da cadeia de valor da IAGen, práticas para identificar e proteger pontos de ataque potenciais ou ameaças a componentes específicos (entradas de dados, processamento, treinamento de IAGen e contextos de implantação) podem precisar ser adaptadas ou evoluídas.
Uma das vulnerabilidades mais preocupantes da IAGen envolve a injeção de prompts, ou manipulação de sistemas de IAGen para se comportarem de maneiras não intencionadas. Em injeções de prompts diretas, atacantes podem explorar abertamente prompts de entrada para causar comportamento inseguro com uma variedade de consequências a jusante para sistemas interconectados. Ataques de injeção de prompts indiretos ocorrem quando adversários exploram remotamente (sem uma interface direta) aplicações integradas a LLMs, injetando prompts em dados que provavelmente serão recuperados. Pesquisadores de segurança já demonstraram como injeções de prompts indiretas podem roubar dados e executar código remotamente em uma máquina. Apenas consultar um modelo de produção fechado pode elicitar informações previamente não divulgadas sobre aquele modelo.
A segurança da informação para modelos e sistemas de IAGen também inclui segurança, confidencialidade e integridade dos dados de treinamento da IAGen, código e pesos do modelo. Outro risco novo de cibersegurança para IAGen é o envenenamento de dados, no qual um adversário compromete um conjunto de dados de treinamento usado por um modelo para manipular sua operação. A adulteração maliciosa de dados ou partes do modelo via esse tipo de acesso não autorizado pode exacerbar os riscos associados às saídas do sistema de IAGen.
Propriedade Intelectual
Facilitação da produção de conteúdo supostamente protegido por direitos autorais, marcas registradas ou licenciado, usado sem autorização e/ou de maneira infratora; exposição facilitada a segredos comerciais; ou plágio ou replicação com impactos econômicos ou éticos relacionados.
Os sistemas de IA generativa podem infringir conteúdos protegidos por direitos autorais, marcas registradas, segredos comerciais ou outros conteúdos licenciados. Esses tipos de propriedade intelectual frequentemente fazem parte dos dados de treinamento dos sistemas de IAGen, especialmente os modelos fundacionais, sobre os quais muitas aplicações de IAGen são construídas. As saídas dos modelos podem infringir material protegido por direitos autorais devido à memorização de dados de treinamento ou à geração de conteúdo que é semelhante, mas não copia estritamente, trabalhos protegidos por direitos autorais. Essas questões estão sendo debatidas em fóruns legais e são de preocupação pública elevada no jornalismo, onde plataformas online e desenvolvedores de modelos têm utilizado ou reproduzido muito conteúdo sem compensar as instituições jornalísticas.
As violações de propriedade intelectual por sistemas de IAGen podem surgir quando o uso de obras protegidas por direitos autorais viola os direitos exclusivos do titular dos direitos autorais e não é protegido por exceções, como o uso justo. Outras preocupações (atualmente não protegidas por propriedade intelectual) dizem respeito ao uso de identidade pessoal ou semelhança para fins não autorizados. A prevalência e a natureza altamente realista do conteúdo gerado por IAGen podem minar ainda mais os incentivos para que criadores humanos projetem e explorem trabalhos novos.
Conteúdo Obsceno, Degradante ou Abusivo
Facilitação da produção e acesso a imagens obscenas, degradantes e/ou abusivas, incluindo material de abuso sexual infantil sintético, e imagens íntimas não consensuais de adultos.
A IAGen pode facilitar a produção e o acesso a imagens obscenas e íntimas não consensuais de adultos, além de material de abuso sexual infantil, ainda que embora nem todo conteúdo explícito seja legalmente obsceno, abusivo, degradante ou não consensual, esse tipo de conteúdo pode criar riscos de privacidade, psicológicos, emocionais e até físicos, que podem ser desenvolvidos ou expostos mais facilmente via IA. A disseminação desse tipo de material tem efeitos, mesmo que as imagens geradas não se assemelhem a indivíduos específicos, a prevalência de tais imagens pode minar os esforços para encontrar vítimas no mundo real.
Os modelos de IAGen são frequentemente treinados em conjuntos de dados abertos extraídos da internet, contribuindo para a inclusão não intencional e imagens íntimas distribuídas sem consentimento como parte dos dados de treinamento.
Relatórios recentes indicam que vários conjuntos de dados de treinamento de IAGen comumente usados continham centenas de imagens conhecidas. Conteúdo sexualmente explícito ou obsceno é particularmente difícil de remover durante o treinamento do modelo devido aos desafios de detecção e ampla disseminação na internet. Mesmo quando treinados em dados "limpos", os modelos GAI cada vez mais capazes podem sintetizar ou produzir sintéticos. Sites, aplicativos móveis e modelos personalizados que geram sintéticos têm se movido rapidamente de fóruns de nicho na internet para negócios online automatizados e em escala.
O conteúdo explícito ou obsceno gerado por IA pode incluir "deepfakes" altamente realistas de indivíduos reais, incluindo crianças. Por exemplo, imagens íntimas não consensuais geradas por IA de um famoso entretenedor inundaram as redes sociais e atraíram centenas de milhões de visualizações.
Toxicidade, Viés e Homogeneização
Dificuldade em controlar a exposição pública a discursos tóxicos ou de ódio, conteúdo depreciativo ou estereotipado; desempenho reduzido para certos subgrupos ou idiomas além do inglês devido a entradas não representativas; homogeneidade indesejada nas entradas e saídas de dados resultando em degradação da qualidade das saídas.
A toxicidade, neste contexto, refere-se a conteúdo ou linguagem negativa, desrespeitosa ou irracional que pode ser criada ou programada intencionalmente em sistemas de IAGen. A dificuldade de controlar a criação e exposição pública a discursos tóxicos, de ódio ou denegrantes ou conteúdo estereotipado gerado pela IA pode levar a danos representacionais. Por exemplo, viés em embeddings de palavras usados por modelos de IA multimodais sub-representa mulheres quando solicitados a gerar imagens de CEOs, médicos, advogados e juízes. O viés em modelos GAI ou dados de treinamento também pode prejudicar a representação ou preservar ou exacerbar o viés racial, separadamente ou além da toxicidade.
A toxicidade e o viés também podem levar à homogeneização ou outros resultados indesejáveis. A homogeneização nas saídas da IAGen pode resultar em estilos estéticos semelhantes, diversidade de conteúdo reduzida e a promoção de opiniões ou valores seletivos em escala. Esses fenômenos podem surgir dos vieses inerentes aos modelos fundacionais, que poderiam criar "gargalos" ou pontos únicos de falha de discriminação ou exclusão que se replicam para muitas aplicações a jusante.
A preocupação relacionada ao colapso do modelo, quando modelos de IAGen são treinados em dados gerados ou saídas de modelos anteriores, resulta no desaparecimento de outliers ou pontos de dados únicos no conjunto de dados ou distribuição. O colapso do modelo pode originar-se de ciclos de feedback uniformes ou treinamento em dados sintéticos. O colapso do modelo poderia levar a uma homogeneização indesejada das saídas, o que representa uma ameaça a grupos específicos e à robustez do modelo como um todo. Outros vieses dos sistemas de IAGen podem resultar na distribuição desigual de capacidades ou benefícios do acesso ao modelo. As capacidades e resultados do modelo podem ser piores para alguns grupos em comparação com outros, como o desempenho reduzido do LLM para idiomas não-ingleses. O desempenho reduzido para idiomas não-ingleses apresenta riscos para a adoção, inclusão e acessibilidade do modelo, e pode ter impactos a jusante na preservação da língua, especialmente para línguas em extinção.
Cadeia de Valor e Integração de Componentes
Integração não transparente ou inrastreável de componentes de terceiros a montante, incluindo dados obtidos de forma inadequada ou não limpos devido ao aumento da automação pela IA; avaliação inadequada de fornecedores ao longo do ciclo de vida da IA; ou outros problemas que diminuem a transparência ou responsabilidade para os usuários a jusante.
As cadeias de valor dos sistemas de IAGen frequentemente envolvem muitos componentes de terceiros, como conjuntos de dados adquiridos, modelos pré-treinados e bibliotecas de software. Esses componentes podem ser obtidos de forma inadequada ou não devidamente verificados, levando a uma transparência ou responsabilidade reduzida para os usuários a jusante. Por exemplo, um modelo pode ser treinado em conteúdo não verificado de fontes de terceiros, o que poderia resultar em saídas de modelo não verificáveis. Como os sistemas GAI frequentemente envolvem muitos componentes de terceiros diferentes, pode ser difícil atribuir problemas no comportamento de um sistema a qualquer uma dessas fontes.
Alguns componentes de terceiros, como conjuntos de dados de "benchmark", também podem ganhar credibilidade apenas pelo uso amplo, em vez de qualidade, e podem apresentar problemas que surgem apenas quando devidamente verificados.
A gestão de riscos associados às novas tecnologias e ferramentas de IA, especialmente IA generativa, exige uma abordagem abrangente que aborde tanto os riscos conhecidos quanto os desconhecidos. As empresas devem estar preparadas para monitorar, medir e mitigar esses riscos de maneira proativa, utilizando a literatura e recursos relevantes para garantir uma documentação e mensuração adequadas. À medida que a tecnologia de IA evolui, os riscos associados também se transformarão, exigindo uma adaptação contínua das estratégias de gerenciamento de risco para proteger a integridade, segurança e ética nos ambientes empresariais e sociais.
