Muitos que me acompanham e conhecem mais de perto sabem que entrei neste mundo da gestão de riscos em 1996, com a implantação de uma área de riscos de mercado, liquidez e capital no finado mas conhecido e cultuado Banco Boavista Interatlântico S.A.
E depois fui me treinando pelos demais riscos como um todo, tendo uma visão mais completa e holística da gestão e governança destes riscos todos. Mas sem nunca deixar de lado o carinho que sempre tenho pelo risco de mercado. Outro dia estava dando uma aula para uma garotada da Asset da RJ+ sobre o tema, então este post também é para eles (Luiz Lobo e João Felipe Xavier de Sá, e Antônio). Também para a Dominga Guimarães e o seu desafio que ela vai ter de estruturar isto.
Normalmente não escrevo muitos posts sobre o tema de risco de mercado, mas hoje resolvi mudar, e abordar um ponto, que acho de extrema importância, mas pouco valorizado, e diria até entendido, até por gente da própria área, que é o chamado: "Backtest".
Então começo colocando o contexto de que o Value-at-Risk (VaR) é uma medida hoje amplamente utilizada para avaliar o risco de investimento de um ativo ou de um portfólio de investimentos. Há mais de 25 anos atrás ainda em 1996 era uma novidade que o Riskmetrics havia acabado de lançar e divulgar,
Ainda que já mais conhecido atualmente, não custa lembrar, que o VaR estima a perda mínima em valor ou percentual que um portfólio ou ativo pode sofrer em um período específico de normalidade com um determinado nível de confiança. Esse nível de confiança é geralmente escolhido para indicar o risco da cauda, ou seja, o risco de eventos extremos e raros no mercado.
Tomemos como exemplo um cálculo de VaR que sugere que um ativo tem 5% de chance de perder 3% do seu valor em um dia. Isso indica que um investidor com $100 investidos nesse ativo deve esperar que exista uma probabilidade de 5% de que o portfólio perderá pelo menos $3 em qualquer dia. O VaR pode ser medido usando três metodologias diferentes, cada uma delas dependendo da criação de uma distribuição de retornos de investimento. Em outras palavras, todos os possíveis retornos de investimento são atribuídos a uma probabilidade de ocorrência durante um período especificado.
Depois de escolher a metodologia de VaR e calcular o VaR de um portfólio, é essencial avaliar a precisão da medida. Isso é crucial, especialmente para instituições financeiras que usam o VaR para estimar quanto dinheiro precisam reservar para cobrir perdas potenciais. Se o modelo de VaR não for preciso, a instituição pode não estar retendo reservas suficientes, levando a perdas significativas.
Os gestores de risco utilizam uma técnica conhecida como backtesting para determinar a precisão de um modelo de VaR. Aonde o backtesting envolve a comparação do VaR calculado com as perdas (ou ganhos) reais ocorridas no portfólio.
O backtesting deve ser realizado por um período suficientemente longo para garantir que haja observações de retorno suficientes para criar uma distribuição de retorno real.
Por exemplo, um investidor que calculou um VaR de $100 com 95% de confiança esperaria que a perda em um dia excedesse $100 apenas 5% das vezes. Se o investidor registrar as perdas reais em 100 dias, a perda excederia $100 exatamente cinco desses dias se o modelo de VaR fosse preciso.
No entanto, um problema do backtesting simples é que ele é dependente da amostra de retornos reais usada, e diferentes períodos de amostra podem levar a diferentes resultados. Para abordar essa questão, os testes estatísticos podem ser implementados para fornecer informações mais detalhadas sobre se um backtest falhou ou passou.
Importante entender por que o VaR não passa no backtest, e podermos resumir a dois tipos de problema. Sendo o primeiro ocorre quando um modelo correto é rejeitado devido à "má sorte", representado por α, o nível de significância. Já um segundo problema acontece quando um modelo incorreto não é rejeitado, ou seja, o analista erroneamente não rejeita a hipótese nula. Esse problema é denotado por β. Em testes estatísticos, o poder do teste, dado por 1 - β, é a probabilidade de rejeitar a hipótese nula quando ela é falsa.
Em termos práticos, muitas exceções podem indicar que o modelo está subestimando o VaR ou que o negociador tem falta de sorte. Poucas exceções, por outro lado, podem sugerir que o modelo está superestimando o VaR ou que o negociador é sortudo. A tarefa aqui é determinar qual explicação é mais provável.
Existem duas abordagens populares para avaliar a adequação de um modelo VaR, conhecidas como modelos de cobertura incondicional e condicional.
Os Modelos de Cobertura Incondicional não levam em consideração a independência das observações de exceção ou o momento em que essas exceções ocorrem. Um dos testes de cobertura incondicional mais populares foi proposto por Kupiec em 1995. Este teste, conhecido como teste de razão de verossimilhança (LR), examina quantas vezes o VaR de uma instituição financeira é violado em um determinado período, sem considerar a distância entre exceções.
No contexto de backtesting, a cobertura incondicional significa que não prestamos atenção na independência das observações de exceção ou no momento em que tais exceções ocorrem. Para determinar se um modelo é adequado para gerenciamento de riscos, estamos interessados apenas no número de exceções.
Um dos testes de cobertura incondicional mais populares foi proposto por Kupiec em 1995. Kupiec propôs um teste de razão de verossimilhança (LR) que examina quantas vezes o VaR (Value at Risk) de uma instituição financeira é violado em um determinado período, sem considerar a distância entre as exceções. Usando uma amostra de T observações, a estatística de teste de Kupiec (1995) tem a forma:
LRUC = −2 ln ( (1−p)^T-N * p^N * [1−(N/T)]^T-N * (N/T)^N )
onde:
- p = Nível de probabilidade.
- T = Tamanho da amostra.
- N = Número de exceções.
- LRUC = Estatística de teste para cobertura incondicional (UC).
O teste de Kupiec calcula a razão entre as probabilidades máximas de um resultado sob duas hipóteses alternativas. O numerador define a probabilidade máxima do resultado observado sob a hipótese nula, enquanto o denominador define a probabilidade máxima do resultado observado sob a hipótese alternativa. A decisão é então baseada no valor da razão resultante. Quanto menor a razão, maior será a estatística de LR. Se a estatística de teste for maior que o valor crítico da distribuição χ², a hipótese nula é rejeitada. É comum escolher um nível de confiança arbitrariamente alto e usá-lo para todos os testes, como 95%. Com 95% de confiança, o valor crítico da distribuição χ² é 3,84. Esse alto grau de confiança significa que o modelo só será rejeitado se as evidências contra ele forem bastante fortes.
Por exemplo, com um ano de dados (T=252), esperaríamos observar N=pT=1*252=3 exceções. No entanto, o usuário do VaR não estaria em posição de rejeitar a hipótese nula, desde que N esteja dentro do intervalo de confiança menor que 7 (N < 7). Valores de N maiores ou iguais a 7 indicam que o VaR é muito baixo ou que o modelo subestima a probabilidade de grandes perdas.
Também podemos ver que aumentar o tamanho da amostra facilita a rejeição do modelo. Por exemplo, em p = 0,05, o intervalo para T=252 é [6/252=0,024, 20/252=0,079]; para T=1000, é [37/1000=0,037, 65/1000=0,065]. É evidente que o intervalo diminui à medida que o tamanho da amostra aumenta.
Cobertura Condicional
na estrutura de backtesting permite levar em conta fatores que a cobertura incondicional ignora. As exceções reais podem se agrupar em tempo, de forma que se tomarmos o VaR de 95%, por exemplo, as 13 exceções esperadas em um período de 250 dias poderiam ocorrer em um único mês.
Até este ponto, abordamos o backtesting baseado em cobertura incondicional, onde o momento das exceções não foi considerado. A variação incondicional está alinhada com a suposição de "independência", onde tratamos a probabilidade da exceção de amanhã como independente da exceção de hoje.
Na realidade, no entanto, pode haver variação temporal na forma como as exceções são observadas. A cobertura condicional nos permite levar em consideração fatores que a cobertura incondicional ignora. As exceções reais podem se agrupar ou se acumular em um curto período de tempo, de tal forma que, se tomarmos o VaR de 95%, por exemplo, as 13 exceções esperadas em um período de 250 dias podem ocorrer dentro de um único mês. O agrupamento de exceções pode indicar uma mudança nas correlações de mercado ou na alteração das posições de negociação. Como tal, é importante ter um framework que nos oriente a determinar se o agrupamento, em um determinado caso, é puramente aleatório ou causado por um desses eventos.
O pesquisardor P.F. Christofferson desenvolveu uma medida de cobertura condicional que permite uma variação temporal potencial dos dados. É basicamente uma extensão da estatística de teste de cobertura incondicional, LRUC. Além do framework de verossimilhança logarítmica de Kupiec, ele estende o teste para incluir também uma estatística separada para exceções independentes. Além de verificar a taxa correta de cobertura, este teste verifica se a probabilidade de uma exceção em um dia específico é afetada pelo resultado do dia anterior. A estatística de teste de verossimilhança logarítmica geral para cobertura condicional é calculada como:
LRCC = LRUC + LRind
onde:
- LRCC = Estatística de teste para cobertura condicional (cc).
- LRUC = Estatística de teste para cobertura incondicional (UC).
- LRind = Estatística de teste para exceções de independência (find).
Cada componente individual é independentemente distribuído como qui-quadrado, assim como a soma. No entanto, agora temos dois graus de liberdade, pois há duas estatísticas de LR separadas no teste. Se o valor da estatística de cobertura condicional for menor que o valor crítico da distribuição χ², o modelo passa no teste. Para valores mais altos, o modelo é rejeitado.
Em um nível de confiança de 95%, por exemplo, rejeitaríamos o modelo se LRCC > 5,99. Rejeitaríamos o termo de independência isoladamente se LRind > 5,99. Se as exceções forem encontradas como dependentes em série, o que deve seguir é um reexame do modelo para reconhecer as correlações nos dados.
As normas de Basileia para o backtesting de VaR exigem que os bancos registrem exceções diárias ao VaR de 99,0% durante o ano anterior. As regras de Basileia categorizam o número de exceções em três zonas: verde, amarelo e vermelho. Cada uma dessas zonas tem implicações diferentes para a penalização do banco e a necessidade de revisão do modelo VaR.
- Zona Verde: Quando o número de exceções é dentro do intervalo aceitável, o modelo é considerado bem calibrado.
- Zona Amarela: Um número moderado de exceções, indicando que o modelo pode precisar de ajustes.
- Zona Vermelha: Um número alto de exceções, indicando um problema sério com o modelo.
Finalmente, o Comitê de Basileia oferece orientações específicas para a aplicação de penalidades para exceções que caem na zona amarela. Essas orientações abordam a integridade básica do modelo, a precisão do modelo, a negociação intradiária e a "má sorte". De acordo com as regras de Basileia, os bancos que se encontram na zona vermelha podem estar sujeitos a penalidades, como requisitos de capital mais altos.
O Comitê de Basileia categoriza as discrepâncias na aplicação de penalidades para exceções no modelo de VaR (Value at Risk) em quatro categorias:
Integridade Básica do Modelo
Isso sugere que os sistemas bancários são inadequados para capturar os riscos de várias posições assumidas. Por exemplo, as correlações podem ter sido especificadas incorretamente.
Orientação do Comitê: Este é um defeito muito sério que exige um aumento na penalidade do fator de escala e ações corretivas imediatas. Por exemplo, pode ser necessário que um supervisor autorize uma revisão substancial do modelo e tome medidas para garantir que isso aconteça.
Precisão Deficiente do Modelo
Isso implica que o modelo não mede a exposição ao risco de alguns instrumentos com precisão suficiente.
Orientação do Comitê: A falta de precisão do modelo é uma falha bastante comum que ocorre na maioria dos modelos de medição de risco. Na verdade, nenhum modelo é totalmente imune a algum tipo de imprecisão. Se houver razões para acreditar que a precisão do modelo de um banco é significativamente deficiente em comparação com outros bancos, um supervisor deve impor o fator positivo e iniciar quaisquer outras ações corretivas necessárias.
Negociação Intraday
As exceções ocorreram devido à atividade de negociação que ocorreu dentro de um período de 24 horas. Pode ter havido um grande evento de negociação (com perda de dinheiro) que aconteceu entre o final do primeiro dia e o final do segundo dia.
Orientação do Comitê: Se a exceção desaparecer com o retorno hipotético, o problema não está no modelo VaR do banco. No entanto, uma penalidade "deve ser considerada".
Azar
Ou os movimentos do mercado excederam a previsão do modelo, ou não se moveram juntos como esperado.
Orientação do Comitê: Os mercados podem se mover de forma antecipada de tempos em tempos. Esses tipos de exceções "devem ser esperados para ocorrer pelo menos de vez em quando". Mesmo entre modelos "precisos", uma previsão de movimento de mercado de 100% é quase impossível. Não há um único modelo VaR que seja imune ao azar.
Em suma, o Comitê de Basileia orienta sobre como abordar várias exceções no modelo de VaR, sugerindo penalidades e ações corretivas para garantir a integridade e precisão dos modelos de gerenciamento de risco.
Essas práticas e diretrizes ajudam a garantir que os modelos VaR são confiáveis, precisos e úteis para a gestão de risco.
Mas então o que fazer se o Backtest falhar?
Quando um backtest falha, várias causas possíveis devem ser levadas em consideração, que é importante que entenda para que possa atuar e corrigir, então dica de algumas das principais delas:
Distribuição de Retorno Incorreta
Se o modelo de VaR assume uma distribuição de retorno (por exemplo, uma distribuição normal de retornos) e essa distribuição não se ajusta bem aos dados reais, isso pode ser uma causa de falha. Os testes estatísticos de adequação podem ser utilizados para verificar se a distribuição do modelo se ajusta aos dados observados.
Modelo VaR Especificado Incorretamente
Se o modelo de VaR não captura todos os riscos aos quais o portfólio está exposto, ele é considerado mal especificado. É necessário incluir todos os riscos aplicáveis e as correlações associadas no modelo.
Medição de Perdas Reais
As perdas reais do portfólio devem ser representativas dos riscos que podem ser modelados. É importante usar “perdas limpas” que excluam taxas e outros justos.
É importante não confiar exclusivamente em um modelo de VaR, mesmo que ele passe em um backtest. O VaR é altamente dependente da distribuição de retornos empregada, especialmente do comportamento da cauda da distribuição. Como os eventos de cauda são raros, algumas pessoas argumentam que qualquer tentativa de medir as probabilidades da cauda com base em observações históricas é inerentemente falha.
Após algumas crises financeiras desde 96, ficou claro que os modelos de VaR são incapazes de capturar todos os riscos, como o risco de base. Esses riscos adicionais são referidos como "risco não no VaR" ou RNiV. Por isto para abordar essas deficiências, os gestores de risco complementam a medida de VaR com outras medidas de risco e outras técnicas, como testes de estresse.
O Value-at-Risk (VaR) é uma medida das perdas "máximas" que podem ser esperadas em um portfólio em um período específico com um determinado nível de confiança, por isto o uso do backtesting é essencial para avaliar a precisão de um modelo de VaR. Um backtest bem-sucedido é um bom indicador, mas não é suficiente por si só. É vital complementar o VaR com outras medidas de risco, em especial de stress, e também estar consciente das limitações do modelo.
- Uma pessoa que trabalha na área precisa:
- Entender bem o que é e como funciona o backtesting e suas exceções e saber explicar a importância de modelos VaR de backtesting.
- Conhecer as dificuldades significativas no backtesting de um modelo VaR.
- Verificar um modelo com base em exceções ou taxas de falha.
- Identificar e os problemas e limitações do backtest no contexto de um processo de backtesting.
- Explicar a necessidade de considerar a cobertura condicional na estrutura de backtesting.
- Conhecer as regras de Basileia para backtesting.
Espero ter ajudado com isto. Mas para quem quer saber mais abaixo a dica de alguns livros, que até já havia comentado em outro post, mas não custa repetir:
- "Value-at-Risk: Theory and Practice" de Glyn A. Holton
Este livro é uma referência abrangente no campo de risco de mercado e Value-at-Risk (VaR). Ele fornece uma introdução detalhada aos conceitos e aplicações do VaR. O que destaca neste livro é sua clareza e abordagem prática, tornando-o acessível tanto para profissionais quanto para acadêmicos. Ele também cobre em detalhes o processo de backtesting para VaR.
- "Market Risk Analysis, Practical Financial Econometrics" de Carol Alexander
Este é o segundo de uma série de quatro volumes de Carol Alexander sobre análise de risco de mercado. Ele aborda aspectos práticos da modelagem financeira. Uma das características distintas deste livro é que ele fornece uma extensa cobertura de backtesting de modelos VaR, incluindo testes e procedimentos.
- "Risk Management and Financial Institutions" de John C. Hull
O livro de Hull é uma leitura essencial para quem estuda gerenciamento de riscos financeiros. Ele oferece uma visão detalhada de várias medidas de risco, incluindo VaR. O ponto forte deste livro é como ele aborda o assunto em um contexto prático, incluindo o backtesting de VaR, que é importante para a validação do modelo.
- "Gestão de Risco e Derivativos" de Antonio Marcos Duarte Junior e Claudio Felisoni de Angelo
Este livro é uma ótima introdução à gestão de riscos financeiros com um foco específico no mercado brasileiro. Ele aborda a teoria e a prática de derivativos e gerenciamento de risco de mercado, incluindo a análise do Value-at-Risk (VaR). A clareza na exposição dos conceitos e a contextualização ao mercado brasileiro são os principais destaques.
- "Gerenciamento de Risco de Mercado" de Richard Saito e Antonio Zoratto Sanvicente
É um livro que se aprofunda no gerenciamento de riscos de mercado, incluindo o uso do Value-at-Risk (VaR). O livro é valioso para sua abordagem prática e discussão de técnicas de modelagem, incluindo backtesting.
Deixo a dica de um texto tão antigo quanto o VaR, mas que continua sendo útil, escrito pelo BIS com o nome de: "SUPERVISORY FRAMEWORK FOR THE USE OF \"BACKTESTING\" IN CONJUNCTION WITH THE INTERNAL MODELS APPROACH TO MARKET RISK CAPITAL REQUIREMENTS" em:
Tem ainda um paper de brasileiro da FGV e do Bacem (Alan Cosme Rodrigues da Silva, Claudio Barbedo, Gustavo Silva Araujo e Myrian Beatriz Eiras das Neves) que vale a pena conferir em:
https://bibliotecadigital.fgv.br/ojs/index.php/rbfin/article/view/1157/369
Ou veja este vídeo em inglês no Youtube em:
