Artigo
07/05/2025

IA está tomando decisões críticas, mas quem garante que ela joga limpo? Deslocamento do poder decisório e a ascensão do risco de modelo

Explora o deslocamento do poder decisório para IA e os riscos éticos e de modelo associados.

Imagem de capa do artigo

A inteligência artificial (IA) deixou de ser uma promessa tecnológica futura, e tem se tornado cada vez mais um componente estratégico das decisões mais relevantes da vida pública e corporativa. E já vemos atualmente algoritmos baseados em aprendizado de máquina sendo amplamente utilizados na concessão de crédito, detecção de fraudes, definição de preços dinâmicos, seleção de currículos, vigilância pública, alocação de recursos médicos, controle de fronteiras, seguros e inúmeros outros contextos de alto impacto. Sendo que em todos essas situações do dia a dia, a IA participa de forma explícita ou velada do processo decisório. Mais do que simplesmemte processar informações, ela passou a estabelecer prioridades, definir elegibilidade, recomendações de investimos, e mais compelxo ainda que muitas vezes tem tomados estas decisões de maneira autônoma.

Com isso o núcleo de poder decisório é gradualmente deslocado do humano para a máquina. E quando a máquina decide, o risco muda de natureza.

Esse novo risco ao contrário do risco operacional clássico, não se limita a falhas de processo, erros manuais ou vulnerabilidades sistêmicas conhecidas, mas se trata de um risco estrutural, multifacetado e difuso, que surge da combinação entre "opacidade algorítmica", e da ausência de accountability, replicação automatizada de discriminações históricas e impactos distributivos não monitorados. Em outras palavras estamos diante de um risco ético, que minha perceção mostra que ainda esta invisível aos controles tradicionais, e pior ainda amplamente subestimado pelas estruturas de governança corporativa e regulatória.

Diante desta situação será preciso começarmos logo um movimento das chamadas: "auditorias éticas de IA", que devem passar a avaliar, mitigar e reportar os riscos morais, legais e sociais associados ao uso de sistemas inteligentes. Mais do que um exercício de conformidade regulatória, a auditoria ética de IA de ser propor ser um mecanismo de transparência, responsabilização e alinhamento entre os objetivos estratégicos das organizações e os direitos fundamentais dos cidadãos.

Neste sentido estava vendo outro dia um estudo do Schiff, Kelley e Camacho Ibáñez feito no ano passado, baseado em entrevistas com 34 auditores de IA em sete países, mostrando que é ainda um campo é incipiente, fragmentado e marcado por desafios metodológicos, técnicos e institucionais profundos.

Queria comentar mais sobre este interessante estudo que trouxe cinco eixos críticos identificados, com foco especial no viés algorítmico, nos dilemas de accountability, nas dificuldades de explicabilidade, na necessidade de auditoria independente e na relação entre regulação e liderança ética, que vou tentar comentar abaixo mais sobre cada um deles.

Viés algorítmico e o reflexo matemático da desigualdade estrutural

O viés algorítmico é hoje sem dúvida na minha opinião uma das maiores preocupações do gestor de riscos como segunda linha, e deveria ser também da auditoria ética de IA, coo terveiira inha. Não por acaso se trata do ponto em que a promessa de objetividade técnica da inteligência artificial esbara com a realidade das assimetrias sociais refletidas nos dados.

Muitos algoritmos são treinados com grandes volumes de dados históricos, e esses dados de certa forma carregam consigo todos os preconceitos, exclusões e distorções da sociedade que os gerou um dia. Assim ao invés de neutralizar o preconceito humano, a IA frequentemente o amplifica, revestindo-o de uma aparência de imparcialidade matemática.

Os auditores relatam neste estudo de que esse problema é recorrente e sistemático, especialmente em setores como crédito, seguros, recrutamento, justiça criminal e marketing direcionado. Modelos preditivos usados para estimar risco de inadimplência por exemplo, podem penalizar desproporcionalmente populações negras, mulheres ou habitantes de determinadas regiões, simplesmente porque os dados históricos indicam maior inadimplência nesses grupos, sem considerar as causas estruturais (desigualdade de renda, acesso ao sistema bancário, discriminação no emprego, entre outras). Em outras palavras:

O algoritmo aprende a reproduzir o passado, mesmo quando o passado é injusto.

Para dificultar ainda mais, existem múltiplas formas de viés algorítmico como o viés nos dados, viés no modelo, viés de representação, viés de seleção , e viés de feedback que reforçam comportamentos anteriores. Cada uma dessas formas exige abordagens específicas de auditoria e mitigação, que incluem desde a análise de distribuição de atributos sensíveis nos datasets, até testes de impacto disparado, métricas de justiça e simulações contrafactuais.

No entanto o estudo mostrouuu de que a maioria das auditorias éticas atuais se restringe a avaliar métricas técnicas de fairness, como a que verifica se o modelo produz resultados proporcionais entre grupos (ex.: mesma taxa de aprovação de crédito para homens e mulheres), ou a que analisa se o modelo é igualmente sensível para diferentes grupos (ex.: mesma taxa de verdadeiro positivo entre grupos raciais), ou ainda compara a acurácia preditiva entre grupos, e também avalia se as probabilidades previstas pelo modelo são consistentes para todos os grupos.

Essas métricas embora úteis são limitadas, porque ignoram o contexto em que o modelo opera, não questionam os objetivos do sistema e muitas vezes tratam a justiça como um problema técnico a ser resolvido com ajustes matemáticos. É o que se convencionou chamar de "fairness through tweaking", uma abordagem que busca equilibrar métricas, mas não questiona as premissas subjacentes do sistema.

Outro problema frequente é a baixa qualidade dos dados disponíveis para auditoria. Em muitos casos os auditores não têm acesso aos datasets originais, ou esses dados não contêm variáveis demográficas que permitam análise de impacto por grupo. Além disso, a documentação dos dado, isto quando existe, é incompleta, dificultando a rastreabilidade e a reprodutibilidade da auditoria. Há também resistência das organizações em compartilhar dados sensíveis, seja por receio de exposição reputacional, seja por ausência de cultura de transparência.

Essa limitação impede a aplicação de métodos mais robustos, como a auditoria de representatividade amostral, que verifica a proporcionalidade de grupos minoritários nos dados de treinamento, ou , que analisa se os rótulos atribuídos aos dados foram feitos de forma justa, precisa e não enviesada, e que mapeia todas as etapas de manipulação de dados (extração, transformação, limpeza, amostragem) e seus potenciais pontos de viés, assim como que envolvem stakeholders impactados pelo sistema para validar os critérios utilizados.

Diante disso o estudo sugere de que auditores ampliem sua atuação para além da modelagem estatística. A auditoria ética de IA precisa incluir uma análise crítica dos objetivos do sistema, das decisões de design, da lógica de negócios e dos impactos sociais previsíveis. Isso implica desenvolver competências interdisciplinares, dialogar com especialistas em direitos humanos, sociologia, psicologia e economia, e sobretudo, ouvir as vozes daqueles que são impactados pelos algoritmos.

Portanto o viés algorítmico não é apenas uma falha técnica,, mas é apenas um espelho matemático da estrutura social. Combater esse viés exige mais do que ajustar pesos e variáveis, o que exige repensar as premissas, os dados, os objetivos e as consequências das decisões automatizadas. A auditoria ética deve assumir esse papel com profundidade, rigor técnico e compromisso com a justiça algorítmica.

Accountability e a lacuna entre erro e responsabilidade algorítmica

A governança ética da inteligência artificial enfrenta um de seus maiores desafios quando nos deparamos com situações em que um sistema algorítmico toma uma decisão errada, injusta ou prejudicial, aonde nenhuma pessoa ou departamento consegue, ou deseja, assumir a responsabilidade por esse resultado.

Este fenômeno é amplamente reconhecido como um problema de "accountability difusa", que é quando o modelo automatizado opera como uma “caixa-preta” intermediando decisões de alto impacto, torna-se extremamente difícil atribuir responsabilidade individual ou institucional por seus efeitos. Este é um problema crítico para a gestão de riscos em ambientes baseados em IA.

Em auditoria o accountability não se refere apenas à rastreabilidade técnica de decisões, mas à existência de mecanismos institucionais formais que definam, exijam e monitorem responsabilidades ao longo de todo o ciclo de vida do sistema algorítmico. Significa responder pelas consequências das decisões automatizadas, dispor de estruturas de governança que evitem a transferência indevida de responsabilidade e assegurar que os impactos sejam compreendidos, mensurados e atribuídos de forma clara.

Neste estudo que comentei acima mostrou de que na prática as empresas ainda estão muito mal preparadas para lidar com esse desafio, pois a maioria das empresas entrevistadas não possui frameworks internos bem definidos de responsabilização algorítmica, e frequentemente delega a tomada de decisão para o sistema de IA sem prever mecanismos de supervisão humana adequados.

Aonde em muitas situações a decisão é “operacionalizada” pelo modelo, oui seja por exemplo um sistema que classifica candidatos a crédito como elegíveis ou inelegíveis com base em modelos de risco, mas o processo decisório que levou à definição desse modelo, dos critérios de corte ou dos pesos atribuídos permanece opaco e não documentado. O resultado é um processo em que o ser humano perde protagonismo, mas a IA também não assume responsabilidade, pois ela não é,por definição um "agente moral".

Esse importante vácuo de accountability é ainda mais problemático em ambientes regulados, como o financeiro e o segurador, onde decisões automatizadas têm impacto direto em direitos individuais, liberdades econômicas e reputações. Em tais setores a ausência de rastreabilidade clara e documentação robusta pode representar não apenas risco reputacional, mas também infrações regulatórias graves, passíveis de sanções por parte de autoridades como o Banco Central, CVM ou autoridades de proteção de dados.

Os auditores ouvidos no estudo relatam que um dos grandes entraves à accountability é a fragmentação organizacional, aonde em muitos casos diferentes áreas estão envolvidas na criação, teste, implantação e monitoramento dos modelos, como times de ciência de dados, tecnologia, compliance, jurídico e produto,, mas não existe uma linha clara de comando ou coordenação entre elas.

Além disso para piorar há baixa formalização sobre quem aprova o uso de determinado modelo, quem autoriza alterações em seus parâmetros, quem documenta suas premissas, ou quem responde em caso de falhas. A responsabilização se dilui, e os riscos de decisões incorretas ficam submersos em zonas de silêncio organizacional.

Para que a accountability seja efetiva em auditoria ética de IA, é necessário construir um arcabouço formal baseado em cinco pilares interdependentes:

  • Documentação contínua e transparente do ciclo de vida do modelo: isso inclui a rastreabilidade de versões, alterações de código, datasets utilizados, decisões de design e métricas de validação. Sem essa documentação, é impossível auditar a cadeia de decisão retroativamente.

  • Mapeamento de papéis e responsabilidades: as empresas precisam identificar claramente quem é responsável por cada etapa, desde a definição do problema, construção do modelo, validação, aprovação, até o monitoramento em produção. O uso de frameworks como o RACI Matrix (Responsible, Accountable, Consulted, Informed) pode ser adaptado ao contexto algorítmico.

  • Supervisão humana significativa: não basta que um humano possa, teoricamente, intervir no processo. É necessário que ele tenha informação suficiente, autoridade decisória e tempo hábil para compreender, questionar ou anular a decisão automatizada. Isso é especialmente importante em decisões críticas e sensíveis.

  • Canal formal de contestação e correção de decisões: qualquer pessoa afetada por uma decisão algorítmica deve ter o direito de obter explicações e de contestar o resultado. Isso exige estruturas organizacionais preparadas para lidar com essas contestações, com prazos definidos, equipes treinadas e registros auditáveis.

  • Integração da accountability algorítmica à governança corporativa: conselhos de administração, comitês de risco e auditoria, diretoria executiva e áreas de compliance devem incorporar explicitamente a responsabilidade sobre sistemas de IA em seus escopos de atuação e relatórios. Isso inclui a inclusão da IA nos mapas de risco corporativos e a supervisão periódica dos sistemas automatizados.

No entanto como apontam os auditores muitas empresas estão subestimando o risco institucional de não dispor de mecanismos robustos de accountability. Em diversos casos documentados, o sistema de IA operava sem supervisão contínua, sem validação independente e sem avaliação de impacto, o que configura, além de um risco ético, um passivo regulatório latente. Vale lembrar que o AI Act europeu, que entrará em vigor em breve, exige que todos os sistemas de IA de alto risco disponham de auditoria interna documentada, análise de impacto e mecanismos explícitos de supervisão humana.

A ausência desses mecanismos poderá implicar em multas significativas e restrições operacionais em mercados regulados. No Brasil embora ainda em fase de debate legislativo, projetos como o PL 2.338/23 já apontam nessa direção, e recomendações de boas práticas estão sendo desenvolvidas por entidades como a ANPD, o Bacen e o Conselho Nacional de Proteção de Dados. As empresas que se anteciparem e estruturarem sua governança algorítmica sairão na frente.

Portanto a auditoria ética de IA precisa atuar como catalisadora da accountability algorítmica, não apenas identificando falhas e omissões, mas também recomendando estruturas corretivas, capacitação de equipes, revisão de processos e mecanismos de responsabilização claros. Em última instância a ausência de accountability em IA compromete a legitimidade das decisões, enfraquece a confiança dos stakeholders e abre espaço para a erosão da integridade institucional. Nesse sentido, a auditoria ética deixa de ser apenas uma boa prática, e se torna um imperativo organizacional.

Explicabilidade e o novo campo de batalha da conformidade regulatória

A explicabilidade algorítmica, ou em inglês: "explainability", se tornou também outra exigência central nos debates sobre governança de IA. Nos últimos anos os reguladores, tribunais, conselhos de administração e organizações da sociedade civil têm convergido em torno de uma demanda clara de que as decisões automatizadas devem ser compreensíveis, auditáveis e justificáveis.

A crescente complexidade dos modelos de IA, especialmente aqueles baseados em redes neurais profundas, reforça essa exigência, pois a tecnologia avança em sofisticação, mas o risco cresce na mesma proporção, de que quanto mais complexo o modelo, mais difícil entender como e por que ele tomou determinada decisão. E quando decisões críticas são tomadas por sistemas cuja lógica não pode ser explicada nem pelos seus desenvolvedores, temos um problema não apenas técnico, mas jurídico, ético e reputacional.

O princípio da explicabilidade está diretamente vinculado a valores fundamentais da governança: transparência, responsabilização, direito à informação e confiança institucional. Um sistema de IA que não pode ser explicado é, por definição, intransparente. E onde não há transparência, não há governança eficaz. Existem diferentes níveis de explicabilidade, desde explicações locais (decisões específicas) até explicações globais (lógica do modelo como um todo), bem como explicações direcionadas a diferentes público, sejam técnicos, usuários finais, gestores e reguladores. Cada um desses grupos demanda explicações em linguagem, granularidade e formato distintos.

O estudo mostrou neste sentido de que a explicabilidade é uma das maiores lacunas práticas nas auditorias de IA realizadas hoje. Em diversos casos os auditores não conseguiram obter documentação adequada sobre os modelos auditados, tampouco rastrear os critérios utilizados nas decisões automatizadas. Muitos sistemas auditados funcionavam como verdadeiras caixas-pretas, com baixa ou nenhuma documentação formal, ausência de versionamento, e incapacidade dos próprios times internos de explicar por que o sistema tomou determinada decisão em casos concretos. Isso se torna especialmente crítico em sistemas utilizados para decisões reguladas, como concessão de crédito, seleção de currículos, análise de risco legal ou decisões médicas, onde o dever de justificativa é não apenas ético, mas normativo.

A dificuldade não se restringe a modelos de deep learning. Mesmo modelos relativamente simples, como árvores de decisão ou regressões logísticas, podem se tornar opacos quando integrados a sistemas maiores, utilizados de forma modular, retrainados frequentemente ou embutidos em produtos complexos. A "opacidade" portanto não é apenas uma função da matemática do modelo, mas da falta de governança, rastreabilidade e intenção de explicação desde a concepção do sistema.

Auditores relatam que, na maioria das empresas não há processos sistemáticos para garantir a explicabilidade. Poucas empresas adotam ferramentas específicas como LIME (Local Interpretable Model-agnostic Explanations), SHAP (SHapley Additive exPlanations), ou métodos de visualização interpretativa. Menos ainda possuem práticas institucionais robustas de documentação, que ajudam a sistematizar informações sobre finalidade, contexto de uso, limites do modelo, variáveis utilizadas, dados de treinamento e avaliações realizadas.

Além disso há um desalinhamento entre os stakeholders internos. Desenvolvedores tendem a valorizar performance preditiva e eficiência computacional; áreas jurídicas demandam segurança regulatória; áreas de negócios buscam velocidade e usabilidade; e auditores éticos precisam de rastreabilidade e clareza. Em muitas auditorias segundo os relatos coletados, os times técnicos se mostraram resistentes ou despreparados para oferecer explicações compreensíveis para outras áreas. Isso gera um "déficit de tradução interna", que compromete o processo de auditoria e mina os esforços de compliance.

Do ponto de vista regulatório a explicabilidade deixou de ser uma diretriz voluntária, e se tornou um requisito formal em diversas jurisdições. O AI Act da União Europeia por exemplo exige que todos os sistemas de IA classificados como “de alto risco” apresentem documentação técnica clara, capacidade de interpretação e supervisão humana significativa. O NIST AI Risk Management Framework do EUA destaca a explicabilidade como um dos pilares da confiança em IA, ao lado de segurança, justiça e robustez. A Lei Geral de Proteção de Dados do Brasil (LGPD), em seu artigo 20, garante ao titular o direito de solicitar a revisão de decisões automatizadas e obter informações claras sobre os critérios utilizados. Esses dispositivos exigem que as organizações estejam preparadas para explicar, com linguagem acessível, os fundamentos de suas decisões algorítmicas.

Nesse cenário, a explicabilidade torna-se o novo campo de batalha da conformidade regulatória em IA, em que empresas que não forem capazes de explicar suas decisões, e ainda provar que seus sistemas operam de forma não discriminatória, razoável e auditável, estarão expostas a litígios, sanções, perdas reputacionais e rupturas de confiança com clientes e parceiros.

A auditoria nesse contexto deve assumir um papel de liderança técnica e institucional, em que o auditor precisa avaliar se o sistema é explicável de forma proporcional ao risco da decisão automatizada, e ainda testar na prática se as explicações fornecidas são compreensíveis para diferentes perfis de stakeholders, assim como verificar a existência de documentação formal de arquitetura, premissas e justificativas do modelo, e exigir que as decisões automatizadas sejam passíveis de revisão, contestação e reconstrução lógica.

Além disso é necessário estimular a criação de processos institucionais de explicabilidade contínua que envolve o treinamento cruzado entre áreas técnicas e não técnicas sobre os fundamentos da explicabilidade, assim como a inclusão de critérios de interpretabilidade nos RFPs e contratos com fornecedores de IA, e as avaliações de explicabilidade como parte dos critérios de validação e aprovação de modelos, com a construção de repositórios centralizados de documentação algorítmica, auditáveis e versionados.

Vale destacar que explicabilidade não deve ser confundida com transparência irrestrita. Em alguns casos a explicação deve ser balanceada com a proteção da propriedade intelectual, segurança do sistema ou direitos de terceiros. O que se exige é uma explicabilidade funcional e proporcional, que permita contestar, entender e supervisionar decisões que afetam direitos. Não é necessário “abrir o código”, mas é imperativo “explicar a lógica”.

Por fim é preciso reconhecer que a explicabilidade é também um fator de confiança estratégica. Empresas que conseguem explicar o que seus sistemas fazem, e por que o fazem, ganham legitimidade perante clientes, reguladores, parceiros e a sociedade. A explicação é a ponte entre a eficiência técnica e a legitimidade ética. E a auditoria deve ser a guardiã dessa ponte.

Auditoria independente entre a governança técnica e a ética organizacional

A auditoria ética em inteligência artificial, quando efetivamente praticada com independência, representa um dos mecanismos mais potentes de controle, transparência e responsabilização no ecossistema algorítmico. Contudo o estudo mostra de que na prática atual a maior parte das auditorias em IA realizadas no setor privado carece de independência funcional, técnica e institucional.

Pois grande parte dos processos auditivos é conduzida internamente pelas próprias empresas, por equipes de ciência de dados, compliance ou jurídico, ou então por consultorias contratadas que atuam simultaneamente como desenvolvedoras, avaliadoras e recomendadoras, o que compromete os princípios fundamentais de qualquer processo de auditoria: imparcialidade, autonomia e separação de funções.

Esse cenário é problemático por diversas razões. Em primeiro lugar a auditoria, seja ela financeira, operacional, regulatória ou tecnológica, precisa de independência de julgamento e ausência de conflito de interesses. O auditor não pode ser ao mesmo tempo parte da equipe que desenha o sistema, que valida suas premissas e que emite o parecer sobre sua adequação ética ou regulatória. Esse tipo de sobreposição gera o risco de autoavaliação interessada, que pode resultar em viés de confirmação, omissão de falhas, subavaliação de riscos ou priorização de interesses comerciais em detrimento da conformidade ética.

No campo da IA, esse problema é ainda mais sensível. Os sistemas auditados envolvem lógica probabilística, critérios de priorização automatizados e decisões com alto grau de ambiguidade moral e impacto social. Avaliar se um modelo de triagem de candidatos é justo, se um sistema de precificação é não discriminatório, ou se um algoritmo de vigilância respeita os limites da legalidade exige autonomia crítica, pluralidade de perspectivas e capacidade de tensionamento técnico-político. Quando essas avaliações são feitas pelos mesmos grupos que implementaram os sistemas, o risco de pontos cegos institucionais é considerável.

O estudo indica que em muitos casos, as auditorias são tratadas como uma extensão do trabalho de consultoria. Isso significa que o escopo da auditoria é negociado diretamente com o cliente, seus termos são definidos sob demanda, e as conclusões são apresentadas em relatórios internos que dificilmente são tornados públicos ou submetidos a validação externa. Muitas dessas auditorias operam no modelo de compliance soft, cujo foco está mais em reduzir risco reputacional ou antecipar exigências regulatórias do que, de fato, assegurar que os sistemas sejam projetados e operados com integridade ética.

Embora esse tipo de atuação seja compreensível em estágios iniciais de maturidade, ele apresenta riscos sistêmicos. A ausência de auditoria externa, independente e padronizada compromete a confiança dos stakeholders, reduz a eficácia da supervisão pública e enfraquece a capacidade das empresas de demonstrar diligência em seus processos algorítmicos. Em setores regulados, como o financeiro, o sanitário, o previdenciário e o educacional, essa ausência poderá gerar não apenas sanções, mas a deslegitimação social da própria IA como instrumento confiável de tomada de decisão.

Para que a auditoria ética em IA cumpra seu papel, é necessário avançar para modelos mais robustos de auditoria independente de segunda ou terceira parte, com critérios objetivos, padrões validados e instituições certificadoras reconhecidas. Esses modelos devem se basear em princípios similares aos da auditoria financeira e da certificação de qualidade, mas adaptados à complexidade sociotécnica dos sistemas de IA.

Alguns elementos estruturantes são essenciais:

  • Segregação formal de funções: os auditores devem ser externos ao ciclo de desenvolvimento do sistema. Se internos, devem estar organizacionalmente subordinados a comitês independentes (como comitês de ética, riscos ou auditoria), com autonomia de atuação e poder de veto técnico.

  • Adoção de frameworks técnicos consistentes: iniciativas como o IEEE CertifAIEd, o ForHumanity Audit Framework, o Algorithmic Impact Assessment do Governo do Canadá, e os princípios da OCDE e da ISO (como a futura norma ISO/IEC 42001:2024 para sistemas de gestão de IA) oferecem guias objetivos, auditáveis e reprodutíveis para avaliação ética, técnica e regulatória de sistemas algorítmicos.

  • Documentação rigorosa e versionada: os auditores devem exigir, e as organizações devem prover, documentação completa de arquitetura dos modelos, logs de decisão, datasets utilizados, objetivos, métricas, validações, testes e alterações realizadas. Sem isso, não é possível auditar com integridade.

  • Relatórios independentes e comunicáveis: além de pareceres técnicos internos, as auditorias éticas devem gerar relatórios com níveis apropriados de transparência externa, seja para reguladores, conselhos de administração, ou mesmo para o público em contextos de interesse coletivo. Isso é essencial para a construção de confiança pública.

  • Rotina periódica e pós-implementação: a auditoria ética não deve ocorrer apenas no momento de implantação ou lançamento de sistemas. Modelos de IA são dinâmicos, adaptativos e sujeitos a data drift, concept drift e mudanças de contexto. Por isso, é essencial prever auditorias periódicas, com foco também em monitoramento contínuo e análise pós-uso.

Além disso como destaca o estudo, o próprio mercado de auditoria ética precisa amadurecer. Há carência de profissionais capacitados, falta de taxonomia comum, ausência de critérios consensuais de qualidade e pouco intercâmbio de boas práticas entre organizações. Nesse sentido, o fortalecimento de comunidades como a International Association of Algorithmic Auditors, a ampliação de capacitações profissionais e a atuação coordenada entre reguladores, universidades e certificadoras será fundamental.

Outro aspecto relevante é o papel dos conselhos de administração e comitês de auditoria nas corporações. A auditoria ética de IA precisa ser incorporada à estrutura formal de governança, com posicionamento estratégico nos ciclos de planejamento, execução, supervisão e accountability. Isso inclui o reporte periódico de riscos algorítmicos, a inclusão de auditorias de IA nos planos anuais de auditoria interna, e a incorporação da ética algorítmica como tema permanente nas agendas de compliance, ESG e gestão de riscos corporativos.

A auditoria independente portant, não é apenas um processo técnico de verificação. Ela é um instrumento institucional de controle democrático da tecnologia. É ela que assegura que os sistemas algorítmicos operem dentro dos limites da legalidade, da justiça e da razoabilidade, oferecendo às empresas não apenas segurança jurídica, mas legitimidade social. Num mundo onde algoritmos decidem cada vez mais.

A confiança será o principal diferencial competitivo, aonde a auditoria independente é o alicerce dessa confiança.

Regulações estão evoluindo, mas a liderança ética deve ser corporativa

Nos últimos anos, assistimos a uma rápida evolução no cenário regulatório global relacionado ao uso ético e seguro da inteligência artificial. Diferentemente da primeira onda de regulação de tecnologia, que se concentrou em privacidade e proteção de dados (como a GDPR europeia e a LGPD brasileira), a atual fase se debruça diretamente sobre os riscos estruturais associados à decisão automatizada, incluindo viés, opacidade, ausência de explicabilidade, accountability difusa, impactos sociais e segurança técnica. Nesse novo contexto, a IA deixou de ser vista apenas como ferramenta e passou a ser compreendida como infraestrutura decisória, cuja governança exige normas, padrões e fiscalização efetiva.

O exemplo mais emblemático dessa nova abordagem regulatória é o AI Act da União Europeia, que está em fase final de aprovação e deverá entrar em vigor em 2025. O AI Act adota uma lógica baseada em risco, classificando os sistemas de IA em quatro categorias (risco inaceitável, alto risco, risco limitado e risco mínimo), e impõe obrigações proporcionais à gravidade do impacto potencial do sistema. Sistemas classificados como de alto risco, como algoritmos usados em crédito, recrutamento, policiamento preditivo, gestão de benefícios sociais e decisões judiciais, estarão sujeitos a exigências rigorosas de documentação técnica, análise de impacto, supervisão humana, explicabilidade e auditorias independentes.

Além da União Europeia, outras jurisdições estão avançando em regulação de IA. O Estados Unidos, por meio do Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence (2023), determinou que agências federais estabeleçam frameworks para governança de IA com foco em explicabilidade, mitigação de viés e avaliação de impacto. O Canadá, com o seu Algorithmic Impact Assessment, exige que agências públicas submetam seus sistemas de IA a uma análise formal de riscos antes de sua implementação. O Reino Unido propõe um modelo regulatório distribuído, baseado em princípios éticos e responsabilidade setorial. O Brasil, por sua vez, discute o Projeto de Lei n.º 2.338/2023, que institui o marco legal da IA com princípios semelhantes ao modelo europeu, embora ainda sem detalhamento técnico suficiente em sua redação atual.

Todos esses movimentos regulatórios compartilham três fatores relevantes como a exigência de transparência e explicabilidade, além da necessidade de avaliação prévia de risco e impacto, e também o fortalecimento da responsabilidade das empresas no uso de IA. Ou seja há uma transição clara de um modelo de regulação ex post, reativo, para um modelo de regulação ex ante, preventivo e baseado em evidência. Nesse contexto a auditoria ética de IA passa a ser não apenas uma boa prática, mas um instrumento operacional obrigatório para a conformidade regulatória.

Contudo o estudo mostrar um outro ponto crítico, de que embora as regulações estejam avançando, as empresas ainda tendem a enxergar a auditoria ética como um mecanismo de proteção reputacional ou de adequação normativa mínima. A maioria dos processos auditivos é acionada reativamente por pressão regulatória, crise de imagem ou exigência contratual, e não como parte de uma cultura institucional voltada à ética algorítmica. Essa postura revela um entendimento limitado da função da auditoria, que passa a ser tratada como barreira burocrática, e não como oportunidade estratégica de governança.

O estudo aponta que, nos casos em que a auditoria ética foi efetiva e gerou mudanças organizacionais relevantes, havia um fator comum: comprometimento direto da alta liderança. Empresas que incluíram o tema de ética algorítmica na pauta dos conselhos, que criaram comitês transversais de IA responsável, que designaram lideranças executivas com mandato claro sobre governança algorítmica e que alinharam seus valores éticos aos KPIs tecnológicos obtiveram maior maturidade em suas práticas de auditoria. Nestes contextos a auditoria ética não apenas identificou riscos, mas contribuiu para redesenhar processos, redefinir objetivos de modelos, reavaliar critérios de sucesso e, em alguns casos, descontinuar projetos que se mostraram eticamente inaceitáveis.

Essa evidência reforça um princípio fundamental da governança que é que a liderança ética não pode ser delegada. Normas, leis e regulamentos são essenciais, mas são até por definição reativos e generalistas. Eles não substituem o juízo moral, o compromisso com valores institucionais e a responsabilidade proativa das empresas em assegurar que suas tecnologias respeitem direitos, promovam equidade e não causem danos. A liderança ética exige visão estratégica, disposição para lidar com tensões entre eficiência e justiça, abertura ao escrutínio público e vontade de colocar freios em projetos potencialmente rentáveis, mas eticamente problemáticos.

Para que isso ocorra é necessário que a auditoria ética de IA seja institucionalizada, com status equivalente ao das auditorias financeira, de compliance e de controles internos, o que significa para começar incluir a auditoria de IA no planejamento anual de auditoria interna e no escopo da auditoria externa, além de integrar critérios de risco algorítmico nos mapas de risco corporativos e na matriz de apetite a risco, e estabelecer diretrizes e políticas internas para uso responsável de IA, com métricas auditáveis e indicadores-chave de desempenho ético (Ethical KPIs), assim como criar estruturas de governança com poder de deliberação e supervisão, e sempre teportar riscos algorítmicos em assembleias, relatórios ESG, demonstrações públicas e documentos de prestação de contas.

No contexto financeiro, particularmente relevante ao mercado em que o usuário atua, essas diretrizes são ainda mais sensíveis. A utilização de IA para análise de crédito, avaliação de risco de fraude, modelagem de score, PLD (Prevenção à Lavagem de Dinheiro), concessão de limites, previsão de inadimplência e decisões de underwriting exige conformidade com padrões rigorosos de integridade algorítmica. O Banco Central do Brasil por meio da Resolução Conjunta nº 6 de 2023, já estabelece diretrizes para governança de modelos, e a regulação prudencial tende a incluir explicitamente a supervisão algorítmica nos próximos ciclos regulatórios.

Assim embora as regulações estejam evoluindo em várias jurisdições, a responsabilidade final pela ética no uso da inteligência artificial recai, e continuará recaindo, sobre as próprias empresas. É nelas que as decisões são implementadas, os modelos são treinados, os dados são selecionados e os impactos são sentidos. A regulação é necessária, mas insuficiente.

Sem liderança ética corporativa, não há auditoria que dê conta da assimetria entre inovação tecnológica e proteção social.

Em última instância empresas que assumirem a dianteira na construção de uma cultura institucional de ética algorítmica com auditorias independentes, lideranças engajadas, mecanismos de supervisão transparente e compromisso com valores, estarão não apenas mitigando riscos, mas consolidando reputação, legitimidade e vantagem competitiva sustentável no novo ecossistema digital.

Auditoria ética em IA como pilar da governança organizacional, regulatória e estratégica

A emergência da inteligência artificial como infraestrutura decisória transversal nas organizações impõe um redesenho profundo das estruturas tradicionais de governança. Não estamos lidando apenas com uma tecnologia disruptiva, mas com uma nova arquitetura de poder que desafia os modelos existentes de controle, responsabilidade e supervisão. A capacidade de prever, classificar, priorizar, excluir, recomendar e automatizar decisões críticas por meio de algoritmos transforma profundamente os riscos corporativos, a gestão da reputação, os direitos dos stakeholders e as obrigações regulatórias.

A auditoria ética em IA se consolida como função essencial para garantir que o avanço tecnológico ocorra de forma justa, transparente e responsável.

Do ponto de vista organizacional, a auditoria ética em IA exige maturidade institucional, estruturas permanentes de governança, segregação de funções, e integração transversal entre áreas técnicas (data science, TI), jurídicas, de compliance, riscos, auditoria e alta liderança. As empresas precisam migrar de um modelo de governança algorítmica baseado em intuição e informalidade para sistemas formais, documentados e auditáveis de avaliação, aprovação, monitoramento e responsabilização dos sistemas de IA em produção. Isso inclui não apenas frameworks técnicos, mas também processos decisórios robustos, comitês interdisciplinares, KPIs éticos e canais de contestação acessíveis.

A ausência de tais estruturas fragiliza o modelo de negócios, expõe a organização a passivos ocultos e compromete a legitimidade das decisões tomadas com apoio de IA. Como vimos acima problemas como viés algorítmico, accountability difusa, falta de explicabilidade, auditorias ineficazes e uso de IA sem supervisão estão frequentemente associados a deficiências institucionais internas, e não apenas a falhas técnicas dos modelos. Portanto a auditoria ética deve ser compreendida como componente estrutural da governança corporativa, com posição equivalente às auditorias financeira, de riscos e de compliance, e com reporte direto à alta liderança e aos conselhos.

No campo regulatório o avanço de legislações como o AI Act da União Europeia, o Executive Order norte-americano, o AIA canadense e o projeto de marco legal brasileiro reforçam o movimento de transição para um modelo de regulação baseada em risco, com exigência de supervisão algorítmica proporcional à criticidade da aplicação. As exigências de análise de impacto, explicabilidade, rastreabilidade, supervisão humana e auditoria independente estão se tornando elementos mandatórios nas legislações mais modernas, principalmente para sistemas utilizados em setores sensíveis como finanças, saúde, justiça, segurança pública, recursos humanos e serviços públicos.

As empresas que não internalizarem esses requisitos por meio de processos auditáveis estarão sujeitas a sanções, proibições de uso de sistemas, danos reputacionais e contestações legais. A auditoria nesse contexto atua como mecanismo operacional de conformidade regulatória e de demonstração de diligência organizacional, funcionando como primeira linha de defesa e instrumento de prestação de contas. Seu papel vai além da verificação técnica: ela constitui evidência objetiva de que a organização está ciente dos riscos, os monitora adequadamente e atua para mitigá-los com proporcionalidade.

Do ponto de vista estratégico a auditoria ética em IA representa não apenas um vetor de mitigação de riscos, mas um ativo reputacional e diferencial competitivo. Empresas que adotam práticas robustas de auditoria ética conquistam maior confiança de clientes, reguladores, investidores e parceiros institucionais. Em um ambiente no qual confiança é o novo capital e em que algoritmos influenciam decisões com implicações sociais e econômicas profundas, a capacidade de demonstrar controle, responsabilidade e transparência torna-se uma vantagem real e sustentável.

Além disso auditorias éticas bem conduzidas oferecem insights relevantes para o aprimoramento de produtos, revisão de modelos, aumento da eficiência operacional e adequação de processos de negócios à realidade dos usuários. Em vez de serem vistas como obstáculos à inovação, devem ser integradas aos ciclos de inovação como etapas qualificadoras, que asseguram que a inovação seja legítima, ética e resiliente.

A auditoria ética de IA deve ser compreendida como um tripé de sustentação da IA responsável:

  • Organizacionalmente, ela estrutura e documenta a responsabilidade institucional, promovendo alinhamento interno e capacidade de governança integrada;

  • Reguladoramente, ela traduz exigências normativas em práticas operacionais auditáveis, reduzindo exposição legal e aumentando a capacidade de prestação de contas;

  • E estrategicamente, ela gera vantagem reputacional, fortalece a confiança e orienta o desenvolvimento tecnológico para critérios de justiça, equidade e segurança.

Em um ambiente regulatório em aceleração e em um mercado cada vez mais sensível à legitimidade social da tecnologia.

Auditar com ética é mais do que conformidade, mas é um imperativo de sustentabilidade institucional.

As opiniões dos autores convidados da nossa comunidade são independentes e não necessariamente representam a opinião da Okai.

Perguntas e respostas

Qual é o papel da inteligência artificial nas decisões estratégicas atualmente?
A inteligência artificial (IA) tem se tornado um componente estratégico nas decisões da vida pública e corporativa, sendo utilizada em diversas áreas como concessão de crédito, detecção de fraudes e vigilância pública.
O que é risco ético na utilização de IA?
O risco ético envolve preocupações como opacidade algorítmica, ausência de accountability, replicação de discriminações históricas e impactos não monitorados, sendo um desafio que ainda está invisível aos controles tradicionais e subestimado pelas estruturas de governança.
O que são auditorias éticas de IA?
Auditorias éticas de IA são processos que avaliam, mitigam e reportam os riscos morais, legais e sociais associados ao uso de sistemas inteligentes, buscando transparência, responsabilização e alinhamento com os direitos fundamentais dos cidadãos.
Quais desafios foram identificados em auditorias de IA por Schiff, Kelley e Camacho Ibáñez?
O estudo identificou desafios metodológicos, técnicos e institucionais, com foco em viés algorítmico, dilemas de accountability, dificuldades de explicabilidade, necessidade de auditoria independente e relação entre regulação e liderança ética.
Como o viés algorítmico afeta a objetividade da IA?
O viés algorítmico ocorre quando dados históricos carregam preconceitos e distorções sociais, levando a IA a amplificar esses preconceitos em vez de neutralizá-los, refletindo desigualdades estruturais.
Quais são as formas de viés algorítmico?
Existem várias formas de viés algorítmico, como viés nos dados, viés no modelo, viés de representação, viés de seleção e viés de feedback, cada um exigindo abordagens específicas de auditoria e mitigação.
O que representa a accountability difusa em IA?
Accountability difusa ocorre quando um sistema algorítmico toma uma decisão sem que nenhuma pessoa ou departamento assuma a responsabilidade pelo resultado, criando dificuldade em atribuir responsabilidade individual ou institucional.
Quais são os pilares da accountability algorítmica?
- Documentação contínua e transparente; - Mapeamento de papéis e responsabilidades; - Supervisão humana significativa; - Canal formal de contestação; - Integração à governança corporativa.
Qual é a importância da explicabilidade em IA?
A explicabilidade é crucial para transparência, responsabilização, direito à informação e confiança institucional, exigindo que as decisões automatizadas sejam compreensíveis, auditáveis e justificáveis.
Quais são os desafios práticos da explicabilidade em IA?
Muitos sistemas funcionam como caixas-pretas com documentação inadequada, dificultando a obtenção de explicações claras sobre decisões tomadas, especialmente em áreas reguladas.
O que significa auditoria independente em IA?
A auditoria independente é realizada por partes externas, sem conflitos de interesse, assegurando imparcialidade e autonomia na avaliação ética e regulatória dos sistemas de IA.
Quais regulamentos estão evoluindo para regular a IA?
O AI Act da União Europeia, o Executive Order nos EUA, o Algorithmic Impact Assessment no Canadá e o projeto de lei brasileiro nº 2.338/2023 visam regular os riscos da decisão automatizada, exigindo transparência, avaliação de impacto e accountability.
Como a auditoria ética de IA contribui para a governança organizacional?
A auditoria ética em IA garante que o avanço tecnológico ocorra de forma justa e responsável, estruturando processos decisórios robustos e integrando KPIs éticos e contestação acessível na governança organizacional.
Qual é o impacto estratégico da auditoria ética de IA para as empresas?
Empresas com auditorias éticas robustas conquistam maior confiança de stakeholders, oferencendo vantagem competitiva e diferenciar-se ao demonstrar controle, responsabilidade e transparência.

Autor

Foto de perfil de Luiz Henrique Lobo

Luiz Henrique Lobo

Membro Independente de Conselhos | Comitê de Riscos da Caixa e de Auditoria da BR Partners | Consultor e Palestrante