Cada vez mais as instituições financeiras de todos os portes utilizam modelos e métodos quantitativos em uma ampla gama de áreas, como: apreçamento de instrumentos, gestão de riscos de crédito, de mercado, e até em PLD, usando como ferramentas de tomada de decisão, com técnicas de modelagem cada vez mais sofisticadas, com o uso de machine learning e Inteligência Artificial.
Isso ressalta a concreta necessidade de uma governança de modelos sólida e de práticas eficazes na Gestão de Riscos de Modelos. Um design ou implementação inadequados, ou o uso inapropriado de modelos, podem levar a consequências adversas.
O primeiro conceito importante de entender é que a governança de modelos é um processo que garante que os modelos sejam usados de forma eficaz e segura, o que inclui a definição de responsabilidades, o desenvolvimento de processos e controles, e a comunicação eficaz entre as partes interessadas.
Não tenho dúvida alguma de que o uso de modelos e métodos quantitativos continuará a crescer no futuro, e por isto mesmo que as instituições financeiras precisam garantir que tenham uma governança de modelos sólida e que pratiquem esta gestão de riscos de modelos de forma eficaz para mitigar os riscos associados ao uso deles.
Neste sentido, outro conceito importante de destacar é que o risco de modelo é o potencial de consequências adversas de erros de modelo ou do uso inadequado de saídas modeladas para informar decisões de negócios. Essas consequências adversas podem levar a uma deterioração da posição prudente, não conformidade com as leis e/ou regulamentos aplicáveis ou danos à reputação de uma empresa. O risco de modelo também pode levar a perdas financeiras, bem como limitações qualitativas, como a imposição de restrições às atividades de negócios.
Os seguintes fatores podem afetar o risco de modelo:
- A escolha e a adequação da metodologia.
- A qualidade e a relevância das entradas de dados.
- A integridade da implementação e o escopo de aplicabilidade contínuo de um modelo.
- Mudanças na validade de quaisquer suposições que sustentam o caso de uso do modelo.
- Uso inadequado do modelo.
Como qualquer outro risco, o de modelo também pode ser reduzido ou mitigado, mas infelizmente não acredito que totalmente eliminado.
Vamos agora falar sobre o ciclo de vida do modelo, que pode ser pensado como sendo composto por três processos principais:
- O processo de modelagem principal com o desenvolvimento, implementação e uso do modelo.
- Validação de modelo com um conjunto de atividades destinadas a verificar se os modelos funcionam conforme o esperado.
- Controles de risco de modelo com os processos e procedimentos além das atividades de validação de modelo para ajudar a gerenciar, controlar ou mitigar o risco de modelo.
A definição de papéis e responsabilidades para os três principais processos do ciclo de vida do modelo é específica da empresa e depende do modelo de negócios e da estrutura das linhas de negócios da empresa, mas normalmente de forma geral os principais papéis são geralmente definidos como:
- O proprietário do modelo que é o indivíduo responsável pelo desenvolvimento, implementação e uso do modelo e garante que o desempenho do modelo esteja dentro das expectativas. O proprietário do modelo também pode ser o desenvolvedor ou usuário do modelo.
- O usuário do modelo que é o indivíduo que depende das saídas do modelo como base para tomar decisões de negócios. Os usuários do modelo geralmente identificam uma justificativa econômica ou comercial para o desenvolvimento de um novo modelo e/ou a necessidade de alterar ou modificar um modelo existente, e podem estar envolvidos nas primeiras etapas do desenvolvimento do modelo e nas atividades de monitoramento contínuas.
- O desenvolvedor do modelo que é o time ou indivíduo responsável pelo design, desenvolvimento, avaliação (teste) e documentação dos modelos.
Em grandes instituições o risco de modelo normalmente é de responsabilidade da área de gerenciamento de risco ou conformidade, sendo que esta função pode ser separada da função de validação de modelo, caso em que eles têm responsabilidades distintas, sendo geralmente responsável por criar e manter o framework e os controles de risco.
Existem casos de empresas que não estabelecem uma área específica com esta responsabilidade, que então são geralmente atribuídas a indivíduos e/ou comitês de risco de modelos (ou uma combinação), ou até consultores externos terceiros.
Independentemente da estrutura escolhida, a eficácia desta função de validação de modelos é afetada por seu status e autoridade, em especial para restringir o uso de modelos, recomendar aprovação condicional ou conceder exceções temporárias à validação ou aprovação do modelo.
A principal responsabilidade da função de validação é geralmente fornecer uma opinião objetiva e imparcial sobre a adequação e solidez de um modelo para um caso de uso particular. Os validadores devem ter independência, e não devem fazer parte de nenhuma atividade de desenvolvimento de modelo, nem ter interesse em se o modelo é aprovado ou não. Garantir a imparcialidade dos validadores de modelos pode ser alcançado de várias maneiras diferentes, por exemplo, tendo linhas de reporte separadas e estruturas de incentivos separadas dos desenvolvedores de modelos, ou uma parte independente pode revisar os resultados dos testes para apoiar a precisão da validação e, assim, confirmar a objetividade da constatação da revisão independente.
Queria agora falar mais sobre alguns dos princípios da gestão de riscos de modelos, que são um conjunto de diretrizes de alto nível que as instituições financeiras deveriam seguir para gerenciar este risco associado ao uso de modelos. Os princípios abrangem todas as fases do ciclo de vida do modelo, desde a identificação e classificação do modelo até a validação independente e os mitigadores de risco do modelo.
Os cinco princípios de modelagem são:
1) Identificação e classificação de modelos:
As empresas devem ter uma definição estabelecida de modelo que defina o escopo do MRM, um inventário de modelos e uma abordagem de estratificação de risco baseada em risco para classificar os modelos e ajudar a identificar e gerenciar o risco de modelo.
Seguem mais alguns detalhes:
1.A) Identificação e classificação de modelos:
As empresas devem ter uma definição estabelecida de modelo que defina o escopo dos modelos e suas verificações com um inventário de modelos e uma abordagem de estratificação de risco baseada em risco para classificar os modelos e ajudar a identificar e gerenciar o risco de modelo.
1.B) Definição do modelo:
Uma definição formal de um modelo define o escopo de um framework da gestão de validação de modelos e promove a consistência entre unidades de negócios e entidades legais.
As empresas devem adotar a seguinte definição de modelo como base para determinar o escopo de seus frameworks: Um modelo é um método quantitativo, sistema ou abordagem que aplica teorias, técnicas e suposições estatísticas, econômicas, financeiras ou matemáticas para processar dados de entrada em saída. A definição de modelo inclui dados de entrada que são quantitativos ou qualitativos ou baseados em julgamento de especialistas, e saída que são quantitativos ou qualitativos.
Não obstante a definição acima, onde métodos quantitativos determinísticos materiais, como regras ou algoritmos baseados em decisões, que não são classificados como modelo, têm um impacto material nas decisões de negócios e são complexos por natureza, as empresas devem considerar se devem aplicar as partes relevantes do framework MRM a esses métodos.
Espera-se que a implementação e o uso de métodos quantitativos determinísticos não classificados como modelos sejam objeto de controles de gestão sólidos e claramente documentados.
1.C) Inventário de modelos:
Um inventário de modelos abrangente deve ser mantido para permitir que as empresas: identifiquem as fontes de risco do modelo; forneça as informações gerenciais necessárias para o relatório de risco do modelo; e ajude a identificar interdependências de modelo.
As empresas devem manter um conjunto completo e preciso de informações relevantes para a gestão de riscos de todos os modelos que estão implementados para uso, em desenvolvimento para implementação ou descomissionados.
Embora cada linha de negócios ou entidade legal possa manter seu próprio inventário, o recomendando é que as empresas mantenham um inventário centralizado, que ajudaria a identificar todas as interdependências de modelo diretas e indiretas para obter uma melhor compreensão do risco de modelo agregado.
Os tipos de informações que o inventário de modelos deve capturar incluem:
- O propósito e uso de um modelo. Por exemplo, o produto ou portfólio relevante, a intenção de uso do modelo com uma comparação com seu uso real, e as fronteiras operacionais do modelo sob as quais o desempenho do modelo é esperado ser aceitável;
- Os insumos e limitações do modelo. Por exemplo, riscos não capturados no modelo e limitações nos dados usados para calibrar o modelo;
- Os achados de validação. Por exemplo, indicadores de se os modelos estão funcionando corretamente, as datas em que esses indicadores foram atualizados pela última vez, e quaisquer ações de remediação pendentes; e
- E os detalhes de governança. Por exemplo, os nomes dos indivíduos responsáveis pela validação, as datas em que a validação foi realizada pela última vez e a frequência da validação futura.
1.D) Modelagem de estratificação:
A estratificação de modelos baseada em risco deve ser usada para priorizar as atividades de validação e outros controles de risco ao longo do ciclo de vida do modelo, e para identificar e classificar os modelos que representam o maior risco para as atividades de negócios de uma empresa e/ou a segurança e solidez da empresa.
As empresas devem implementar uma abordagem de estratificação de modelos consistente e de nível empresarial que atribua uma classificação de materialidade e complexidade baseada em risco a cada um de seus modelos.
A materialidade do modelo deve considerar ambos:
- medidas quantitativas baseadas no tamanho. Por exemplo, exposição, valor de mercado ou livro, ou número de clientes aos quais um modelo se aplica; e
- fatores qualitativos relacionados ao propósito do modelo e sua importância relativa para informar as decisões de negócios, e considerando o potencial impacto sobre a solvência e o desempenho financeiro da empresa.
- A avaliação da complexidade de um modelo deve considerar os fatores de risco que impactam o risco inerente de um modelo em cada componente do processo de modelagem, por exemplo, a natureza e a qualidade dos dados de entrada, a escolha da metodologia (incluindo suposições), os requisitos e a integridade da implementação, e a frequência e/ou a extensão do uso do modelo. Onde necessário (particularmente com o uso de novas abordagens ou tecnologias avançadas), a avaliação da complexidade também pode considerar fatores de risco relacionados
2) Governança:
As empresas devem ter uma forte governança com um conselho que promova uma cultura de MRM a partir do topo, estabelecendo uma clara apetite de risco de modelo. O conselho deve aprovar a política de MRM e nomear um indivíduo responsável para implementar um framework de MRM sólido que garanta práticas de MRM eficazes.
As empresas devem ter uma forte governança com um conselho que promova uma cultura de gestão de riscos e validação de modelos a partir do topo, estabelecendo uma clara apetite de risco de modelo. O conselho deve aprovar a política de gestão de riscos e validação de modelos, e nomear um indivíduo responsável para implementar este processo sólido que garantirá práticas eficazes.
2.A) Responsabilidades do conselho de administração.
O conselho deve estabelecer uma política de gestão de riscos de modelos abrangente que seja parte de seu sistema de gestão de riscos mais amplo e proporcional ao seu tamanho e atividades de negócios, à complexidade de seus modelos e à natureza e extensão do uso de modelos. Esta política deve promover uma compreensão do risco de modelo, tanto em um nível individual de modelo quanto em agregado em toda a empresa, e deve promover a gestão do risco de modelo como uma disciplina de risco em si mesma. A política deve definir claramente as funções e responsabilidades em relação ao risco de modelo em toda a empresa.
2.B) Políticas e procedimentos:
As empresas devem ter políticas e procedimentos abrangentes que formalizem o risco de modelos, e que garantam sua aplicação eficaz e consistente em toda a empresa, claramente documentados que formalizem o processo. Estas políticas da empresa devem ser aprovadas pelo conselho e revisadas periodicamente para garantir sua relevância contínua para: o apetite de risco de modelo e perfil da empresa; o ambiente econômico e de negócios e o cenário regulatório em que a empresa opera; e as novas e avançadas tecnologias a que a empresa está exposta.
2.C) Funções e responsabilidades:
As funções e responsabilidades devem ser atribuídas a pessoas com as habilidades e experiência apropriadas para garantir que o framework de MRM opere de forma eficaz.
As empresas devem documentar claramente as funções e responsabilidades para cada etapa do ciclo de vida do modelo, juntamente com as habilidades, experiência e expertise necessárias para as funções, e o grau de independência organizacional e senioridade necessário para desempenhar a função de forma eficaz.
A responsabilidade pelo monitoramento do desempenho do modelo e a reavaliação de modelos já implementados deve ser claramente definida e pode ser realizada por proprietários de modelos, usuários ou desenvolvedores. A adequação do monitoramento do desempenho do modelo é uma área-chave de consideração pelos validadores de modelo.
Os proprietários dos modelos devem ser documentados para todos os modelos, e são responsáveis por garantir que:
- O desempenho do modelo seja monitorado contra o apetite de risco do conselho aprovado pela empresa para o desempenho aceitável do modelo.
- O modelo seja atribuído ao tier de modelo correto; tenha sido validado de forma apropriada de acordo com o tier de modelo; e forneça todas as informações necessárias para que as atividades de validação ocorram.
- O modelo está registrado no inventário de modelos e as informações sobre o modelo são precisas e atualizadas.
Os usuários dos modelos devem ser documentados para todos os modelos. Os usuários dos modelos são responsáveis por garantir que:
- O uso do modelo seja consistente com a finalidade pretendida.
- As limitações conhecidas do modelo são levadas em consideração quando a saída do modelo é usada.
Os desenvolvedores do modelo devem ser documentados para todos os modelos. Os desenvolvedores de modelos são responsáveis por garantir que a pesquisa, desenvolvimento, avaliação e teste de um modelo (incluindo procedimentos de teste, seleção de modelo e documentação) sejam conduzidos de acordo com os padrões da própria empresa.
- A validação do modelo deve ser realizada por pessoal:
- Que tenha a experiência técnica e familiaridade suficiente com a linha de negócios que usa o modelo, para poder fornecer uma opinião objetiva, imparcial e crítica sobre a adequação e solidez dos modelos para sua finalidade pretendida;
- Que tenha a posição organizacional e os incentivos necessários para reportar limitações do modelo e escalar exceções de controle material e/ou uso inadequado do modelo de forma rápida e oportuna.
2.D) Auditoria interna
A Auditoria Interna deve avaliar periodicamente a eficácia desta política em cada componente do ciclo de vida do modelo, bem como a eficácia geral e o cumprimento das políticas internas. Os resultados das avaliações da auditoria devem ser documentados e relatados ao conselho e aos comitês relevantes em tempo hábil.
A revisão da auditoria deve verificar independentemente os seguintes pontos:
- As políticas internas e os procedimentos são abrangentes para permitir que os riscos do modelo sejam identificados e gerenciados de forma adequada.
- Os controles de risco e as atividades de validação são adequados para o nível de riscos do modelo.
- O pessoal de validação tem a experiência, a expertise, a posição organizacional e os incentivos necessários para fornecer uma opinião objetiva, imparcial e crítica sobre a adequação e solidez dos modelos para sua finalidade pretendida e para reportar limitações do modelo e escalar exceções de controle material e/ou uso inadequado do modelo de forma rápida e oportuna.
- Os proprietários dos modelos e as funções de controle de risco do modelo cumprem as políticas internas e os procedimentos de gestão de riscos de modelos, e essas políticas internas e os procedimentos estão em linha com as expectativas estabelecidas.
2.E) Uso de modelos desenvolvidos externamente, produtos de terceiros:
Em relação aos modelos de terceiros, as empresas devem:
- Satisfazer-se de que os modelos do fornecedor foram validados nos mesmos padrões que suas próprias expectativas internas de gestão de riscos de modelos.
- Verificar a relevância dos dados e das premissas do fornecedor.
- Validar seu próprio uso de produtos de fornecedores e realizar monitoramento contínuo e análise de resultados do desempenho do modelo do fornecedor usando seus próprios resultados.
3) Desenvolvimento, implementação e uso de modelos:
As empresas devem ter um processo de desenvolvimento de modelo robusto com padrões para o design e implementação de modelos, seleção de modelos e medição do desempenho dos modelos. Os testes de dados, construto do modelo, premissas e resultados do modelo devem ser realizados regularmente para identificar, monitorar, registrar e remediar limitações e fraquezas dos modelos.
As empresas devem ter um processo de desenvolvimento de modelo robusto com padrões para o design e implementação do modelo, seleção do modelo e medição do desempenho do modelo. Os testes de dados, modelo construto, premissas e resultados do modelo devem ser realizados regularmente para identificar, monitorar, registrar e remediar as limitações e fraquezas do modelo.
3.A) Propósito e design do modelo:
Todos os modelos devem ter uma declaração clara de propósito e objetivos de design para orientar o processo de desenvolvimento do modelo. O design do modelo deve ser adequado para o uso pretendido, a escolha das variáveis e parâmetros deve ser conceitualmente sólida e apoiar os objetivos de design, as estimativas dos parâmetros de cálculo e a teoria matemática devem ser corretas e as premissas subjacentes do modelo devem ser razoáveis e válidas.
A escolha da técnica de modelagem deve ser conceitualmente sólida e apoiada por pesquisas publicadas, quando disponível, ou pela prática industrial geralmente aceita quando apropriada. A saída do modelo deve ser comparada com os resultados de teorias ou abordagens alternativas e benchmarks, quando possível.
Deve-se dar especial ênfase à compreensão e comunicação aos usuários do modelo e a outros stakeholders dos méritos e limitações de um modelo em diferentes condições e as sensibilidades da saída do modelo às mudanças nas entradas.
3.B) O uso de dados:
O processo de desenvolvimento do modelo deve demonstrar que os dados usados para desenvolver o modelo são adequados para o uso pretendido; e são consistentes com a teoria e metodologia escolhidas; são representativos dos portfólios, produtos, ativos ou base de clientes subjacentes para os quais o modelo se destina a ser usado.
O processo de desenvolvimento do modelo deve garantir que não haja viés inapropriado nos dados usados para desenvolver o modelo e que o uso dos dados esteja em conformidade com as regulamentações de privacidade de dados e outras regulamentações de dados relevantes.
Quando os dados usados para desenvolver o modelo não são representativos dos portfólios, produtos, ativos ou base de clientes subjacentes de uma empresa que o modelo se destina a ser usado, o impacto potencial deve ser avaliado e a limitação potencial deve ser levada em consideração na classificação do modelo para refletir a maior incerteza do modelo. Os usuários e proprietários do modelo devem ser informados de quaisquer limitações do modelo.
Quaisquer ajustes feitos aos dados usados para desenvolver o modelo ou o uso de proxies para compensar a falta de dados representativos devem ser claramente documentados e sujeitos a validação. As premissas feitas, os fatores usados para ajustar os dados e a racionalização do ajuste devem ser validados de forma independente, monitorados, relatados, analisados, registrados no inventário de modelos e documentados como parte do processo de desenvolvimento do modelo.
As fontes de dados interconectadas e o uso de dados alternativos e não estruturados devem ser identificados e registrados no inventário de modelos, e a complexidade introduzida por dados interconectados e o aumento da incerteza dos dados alternativos e não estruturados devem ser refletidos na classificação do modelo para garantir que o nível de rigor e escrutínio adequados sejam aplicados nas atividades de validação independente do modelo.
3.C) Testes de desenvolvimento de modelo:
Os testes de desenvolvimento do modelo devem demonstrar que um modelo funciona como pretendido. Deve incluir critérios claros como base para medir a qualidade de um modelo (desempenho na fase de desenvolvimento) e para selecionar entre modelos candidatos. Os desenvolvedores de modelos devem fornecer a principal estrutura do pacote de monitoramento (conjunto de testes ou critérios) que será usado para monitorar o desempenho contínuo de um modelo durante o uso.
Os testes de desenvolvimento do modelo devem avaliar o desempenho do modelo contra os objetivos de design do modelo usando uma variedade de testes de desempenho.
De uma perspectiva retrospectiva, os testes de desempenho devem ser conduzidos usando observações reais em uma variedade de condições econômicas e de mercado que são relevantes para o uso pretendido do modelo.
De uma perspectiva prospectiva, os testes de desempenho devem ser conduzidos usando cenários plausíveis que avaliam o grau em que o modelo pode levar em consideração mudanças nas condições econômicas e de mercado, bem como mudanças no portfólio, produtos, ativos ou base de clientes, sem que o desempenho do modelo deteriore abaixo de níveis aceitáveis. Isso deve incluir análise de sensibilidade para determinar as fronteiras operacionais do modelo sob as quais o desempenho do modelo é esperado ser aceitável.
Quando possível os testes de desempenho também devem incluir comparações da saída do modelo com a saída de modelos disponíveis challenger, que são implementações alternativas
3.D) Ajustes de modelos e julgamento de especialistas:
As empresas devem ser capazes de demonstrar que os riscos relacionados às limitações do modelo e às incertezas do modelo são adequadamente compreendidos, monitorados e gerenciados, inclusive por meio do uso de julgamento de especialistas.
O processo de desenvolvimento do modelo deve considerar a necessidade de usar o julgamento de especialistas para fazer ajustes nos modelos que modifiquem qualquer parte de um modelo (entrada, premissas, metodologia ou saída) para resolver limitações do modelo.
Onde o processo de desenvolvimento do modelo identifica a necessidade de tais ajustes nos modelos, os ajustes devem ser adequadamente justificados e claramente registrados no inventário de modelos. O inventário de modelos deve registrar as decisões tomadas em relação aos motivos dos ajustes nos modelos e como os ajustes devem ser calculados ao longo do tempo. A implementação dessas decisões deve ser apropriadamente documentada e sujeita a uma governança adequada, incluindo validação independente contínua.
Onde tais ajustes são feitos a um modelo alimentador cuja saída é a entrada de outro modelo ou a um submodelo de um sistema de modelos, o impacto desses ajustes nos modelos relacionados também deve ser avaliado e os proprietários e usuários relevantes dos modelos devem ser informados do potencial impacto desses ajustes. Se o ajuste for material, ele deve ser objeto do processo de validação independente de ambos os modelos.
Onde as empresas usam conservadorismo para lidar com incertezas do modelo, ele deve ser intuitivo de uma perspectiva comercial e econômica, adequadamente justificado e apoiado por documentação apropriada, e deve ser consistente com os objetivos de design do modelo.
Os proprietários ou desenvolvedores de modelos devem ser capazes de demonstrar um link claro entre as limitações do modelo e as razões para os ajustes nos modelos, e devem ser responsáveis por desenvolver e implementar planos de remediação claros para resolver as limitações do modelo.
As empresas devem ter um processo para considerar se a materialidade dos ajustes nos modelos ou uma tendência de uso de ajustes recorrentes nos modelos para as mesmas limitações do modelo são indicativos de um design de modelo falho ou especificação incorreta no modelo construto, e considerar a necessidade de ações corretivas até a recalibração do modelo ou o seu redesenvolvimento.
3.E) Documentação do desenvolvimento do modelo:
As empresas devem ter documentação abrangente e atualizada sobre o design, teoria e lógica subjacentes ao desenvolvimento de seus modelos. A documentação do desenvolvimento do modelo deve ser suficientemente detalhada para que uma terceira parte independente com a expertise relevante seja capaz de entender como o modelo opera, identificar as principais premissas e limitações do modelo e replicar qualquer estimativa de parâmetro e resultados do modelo. As empresas devem garantir que o nível de detalhe na documentação de modelos de fornecedores terceirizados seja suficiente para validar o uso do modelo pela empresa.
A documentação do modelo deve incluir:
- O uso de dados: uma descrição das fontes de dados, quaisquer proxies de dados e os resultados de testes de qualidade, precisão e relevância dos dados;
- A escolha da metodologia: as técnicas de modelagem adotadas e as suposições ou aproximações feitas, detalhes dos componentes de processamento que implementam a teoria, especificação matemática, técnicas numéricas e estatísticas;
- Os testes de desempenho: detalhes dos testes ou critérios que serão usados para monitorar o desempenho contínuo do modelo durante o uso, e a razão para a escolha dos testes ou critérios selecionados; e
- As limitações do modelo e uso de julgamento de especialistas: a natureza e a extensão das limitações do modelo, a justificativa para o uso de quaisquer ajustes nos modelos para resolver limitações do modelo e como esses ajustes devem ser calculados ao longo do tempo.
3.F) Sistemas:
Os modelos devem ser implementados em: sistemas ou ambientes que tenham sido testados exaustivamente para os fins pretendidos do modelo e/ou sistemas para os quais os modelos foram validados e aprovados. Os sistemas devem estar sujeitos a rigorosos processos de controle de qualidade e controle de alterações. Os resultados de quaisquer testes de sistema e/ou implementação devem ser documentados.
As empresas devem reavaliar periodicamente a adequação dos sistemas para os fins do modelo e tomar as medidas corretivas apropriadas, conforme necessário, para garantir a adequação.
4) Validação independente de modelos:
As empresas devem ter um processo de validação que forneça um desafio contínuo, independente e eficaz ao desenvolvimento e uso de modelos. O indivíduo ou órgão dentro de uma empresa responsável pela aprovação de um modelo deve garantir que as recomendações de validação para remediação ou reconstrução sejam implementadas para que os modelos sejam adequados para o seu propósito pretendido.
4.A) A função de validação independente:
As empresas devem ter uma função de validação para fornecer uma opinião objetiva, imparcial e crítica sobre: a adequação e solidez dos modelos para sua finalidade pretendida; o design e integração do sistema que suporta o modelo; a exatidão, relevância e completude dos dados de desenvolvimento; e a saída e relatórios usados para informar as decisões.
A função de validação deve ser responsável pela revisão independente e revalidação periódica de modelos, e deve fornecer suas recomendações sobre aprovações de modelo à autoridade de aprovação de modelo apropriada.
Embora os proprietários de modelos sejam responsáveis pelo desempenho do modelo, os usuários, proprietários e validadores de modelos compartilham a responsabilidade pela monitorização contínua do desempenho do modelo e verificação de processo.
A função de validação deve operar de forma independente do processo de desenvolvimento do modelo e dos proprietários de modelos. As empresas que têm aprovação para usar modelos internos para fins de cálculo de seus requisitos de capital são esperadas a demonstrar independência por meio de linhas de reporte separadas para validadores de modelos e desenvolvedores e proprietários de modelos.
A função de validação deve ter posição organizacional suficiente para fornecer um desafio eficaz e ter acesso apropriado à diretoria e/ou comitês da diretoria para escalar preocupações sobre o uso de modelos.
4.B) Revisão independente:
Todos os modelos devem ser submetidos a uma revisão independente para garantir que os modelos sejam adequados para sua finalidade pretendida. A revisão independente deve:
- Abranger todos os componentes do modelo, incluindo entradas de modelo, cálculos e saídas de relatório;
- Avaliar a solidez conceitual da teoria subjacente do modelo e a adequação do modelo para a sua utilização pretendida;
- Analisar criticamente a qualidade e a extensão da evidência do desenvolvimento do modelo, incluindo a relevância e a completude dos dados utilizados para desenvolver o modelo em relação aos portfólios, produtos, ativos ou base de clientes subjacentes para os quais o modelo se destina a ser utilizado;
- Avaliar as informações qualitativas e os julgamentos utilizados no desenvolvimento do modelo e garantir que esses julgamentos tenham sido conduzidos de forma apropriada e sistemática e sejam apoiados por documentação apropriada; e
- Realizar testes e análises adicionais conforme necessário para permitir que as limitações potenciais do modelo sejam identificadas e abordadas em tempo hábil, e para rever a evidência de desenvolvimento da análise de sensibilidade conduzida pelos desenvolvedores do modelo para confirmar o impacto das principais premissas feitas no processo de desenvolvimento e escolha de variáveis feitas durante a fase de seleção do modelo sobre as saídas do modelo.
A natureza e a extensão da revisão independente devem ser determinadas pelo nível do modelo e, onde a validação diz respeito a uma alteração do modelo, de acordo com a materialidade da alteração do modelo.
4.C) Verificação de processo:
As empresas devem realizar uma verificação apropriada dos processos e sistemas de implementação do modelo para confirmar que todos os componentes do modelo estão operando de forma eficaz e estão implementados conforme pretendido. Isso deve incluir a verificação de que:
Entradas do modelo
Os dados internos ou externos utilizados como entradas do modelo são representativos dos portfólios, produtos, ativos ou base de clientes subjacentes para os quais o modelo se destina a ser utilizado e estão em conformidade com os padrões internos de controle de qualidade e confiabilidade de dados.
Cálculos
A implementação de sistemas e código, integração e processamento e aplicações desenvolvidas pelo usuário são precisas, controladas e auditáveis.
Saídas de relatório
Os relatórios derivados das saídas do modelo são precisos, completos, informativos e adequadamente projetados para sua finalidade pretendida.
4.D) Monitoramento do desempenho do modelo:
O monitoramento do desempenho do modelo deve ser realizado para avaliar o desempenho do modelo contra os limites aceitáveis de desempenho do modelo com base nos critérios de teste do modelo usados na fase de desenvolvimento do modelo.
5) Mitigadores de risco de modelo:
As empresas devem ter políticas e procedimentos estabelecidos para o uso de mitigadores de risco de modelo quando os modelos estão com mau desempenho, e devem ter procedimentos para a revisão independente de ajustes pós-modelo.
5.A) Ajustes "pós-modelo":
As empresas devem ter um processo consistente em toda a empresa para aplicar ajustes para abordar limitações de modelo onde riscos e incertezas não estão adequadamente refletidos em modelos ou abordados como parte do processo de desenvolvimento do modelo. O processo deve ser documentado nas políticas e procedimentos das empresas e deve incluir uma estrutura de governança e controle para revisar e apoiar o uso de ajustes, a implementação de decisões relacionadas a como os ajustes devem ser calculados, sua completude e quando os ajustes devem ser reduzidos ou removidos.
5.B) Restrições ao uso do modelo:
As empresas devem considerar a imposição de restrições ao uso do modelo quando deficiências e/ou erros significativos do modelo forem identificados durante o processo de validação ou se os testes de desempenho do modelo mostrarem que uma violação significativa ocorreu ou é provável que ocorra. Isso pode incluir permitir o uso do modelo apenas sob controles ou mitigadores rígidos ou impor limites ao uso do modelo, como proibir o uso do modelo para fins específicos.
5.C) Exceções e escalar:
Para modelos significativos, as empresas devem formular as exceções que permitiriam o uso do modelo e o desempenho do modelo e devem implementar políticas e procedimentos formalmente aprovados que estabeleçam os procedimentos de escalação a serem seguidos e para gerenciar essas exceções. Exceções para o uso do modelo devem ser temporárias, estar sujeitas a ajustes e devem ser relatadas e apoiadas por partes interessadas e alta administração. Para exceções de desempenho do modelo, as empresas devem ter diretrizes claras para determinar uma tolerância máxima para exceções de desempenho do modelo, estar sujeitas a controles de risco apropriados e mitigadores (como recalibrar ou redesenvolver a metodologia existente) uma vez que os gatilhos e limites definidos forem violados.
As empresas também devem ter processos de escalar em vigor para que as partes interessadas relevantes como: os proprietários do modelo, usuários, equipe de validação e alta administração, que sejam prontamente informadas de uma exceção de modelo.
Estes princípios todos acima são práticas de gerenciamento de riscos fundamentais para todos os modelos e todos os tipos de riscos. No entanto, a aplicação prática dos princípios por todas as empresas deve ser compatível com seu tamanho, atividades de negócios e a complexidade e extensão do uso de modelos. Por exemplo, para empresas com um número menor de modelos ou modelos menos complexos, manter um inventário de modelos deve ser menos oneroso, e os critérios para classificar modelos em camadas podem ser materialmente mais simples do que para empresas com uma gama mais ampla de modelos ou modelos mais complexos.
Outro ponto importante é o envolvimento ativo da alta administração e do conselho nos processos de governança de modelos das empresas, que é fundamental para as melhores práticas robustas e eficazes. O fortalecimento da responsabilidade das empresas e indivíduos pela gestão do risco de modelo deve melhorar o envolvimento e a participação da alta administração e dos conselhos, o que, por sua vez, impulsionará uma implementação bem-sucedida.
Não vamos esquecer da importância também da avaliação do auditor e a resposta ao risco de distorção material como parte da auditoria legal, incluindo sua compreensão dos processos de uma empresa para monitorar a eficácia de seu sistema de controles internos e sua compreensão dos controles de uma empresa atividades.
Vejam mais detalhes sobre o tema no documento no link abaixo:
Documento indexado pela Okai.
