Área de Enterprise Data Management (EDM) em Instituições Financeiras X Importância da Gestão Centralizada de Dados

Sempre gostei de desafios, de tocar projetos e criar, talvez até minha formação em engenharia, que me fez gostar de resolver problemas difíceis, e assim foi durante toda minha carreira profissional. Quando algo de novo é me dado, começa toda esta mágica de poder construir, seja uma área, um sistema, um time novo. Isto que gosto de fazer! Ajudar a melhorar!

E queria comentar sobre um destes desafios que me deram ao me chamar para tocar um projeto de criar uma nova área para centralizar e cuidar de todos os dados de uma instituição financeira, de forma pioneira e desafiadora, e o mais legal que já nascia com uma visão global, não apenas no Brasil aonde ficaria centralizados, mas com times no Chile, Colômbia, EUA, UK, e Singapura.

Estou falando de uma área de "Enterprise Data Management", também conhecida no meio por "EDM", que é responsável por gerenciar todos os aspectos relacionados aos dados que a instituição financeira utiliza em seus processos de negócios. Essa área tem como objetivo garantir que os dados sejam precisos, confiáveis, seguros e estejam disponíveis para uso pelos funcionários da instituição financeira.

Resumidamente as principais responsabilidades desta tal área de Data Management em um banco podem incluir os seguintes pontos:

1) Coleta e armazenamento de dados:

A área de Data Management é responsável por coletar e armazenar dados de todas as fontes relevantes, incluindo transações financeiras, informações de clientes, relatórios regulatórios, dados de mercado, tabelas de produtos, preços de fechamento e intraday como: taxas de juros, preços de ações, câmbio, commodities, informações exigidas por reguladores governamentais, entre outros.

2) Processamento e normalização de dados:

A área de Data Management é responsável por processar dados para transformá-los em informações que possam ser utilizadas pelos funcionários da instituição financeira. Isso pode incluir a limpeza de dados, a padronização de dados e a criação de conjuntos de dados estruturados para análise.

3) Garantia de qualidade de dados:

A área de Data Management é responsável por garantir que os dados estejam limpos, precisos e completos. Isso inclui a identificação e correção de erros nos dados, bem como a garantia de que os dados sejam consistentes em todas as fontes. Além de buscar fontes alternativas caso na primária não esteja disponível. Sempre dentro do prazo de disponibilização e necessidade de uso pelos clientes finais.

4) Gerenciamento de segurança de dados:

A área de Data Management é responsável por garantir que os dados sejam mantidos em segurança e que as políticas de segurança de dados sejam implementadas e seguidas. Isso inclui a garantia de que as informações do cliente sejam protegidas e a conformidade com as regulamentações de privacidade de dados.

6) Análise de dados:

A área de Data Management é responsável por fornecer análises de dados que possam ser usadas pelos funcionários da instituição financeira para tomar decisões mais informadas. Isso pode incluir a criação de relatórios regulatórios, análises de risco de crédito, análises de comportamento do cliente e outras análises personalizadas.

A evolução do Data Management nas instituições financeiras ao redor do mundo pode ser vista como uma jornada que passou por várias fases distintas. Desde o início do uso de computadores em operações financeiras na década de 60/70, até a atual era de Big Data, as instituições financeiras têm investido na gestão de dados para aprimorar seus processos de negócios, melhorar a eficiência operacional e fornecer produtos e serviços mais personalizados para seus clientes.

As primeiras áreas especializadas em dados nas instituições financeiras surgiram na década de 1960, quando as instituições financeiras começaram a utilizar computadores para processar transações e armazenar dados. Foi nessa época que os primeiros sistemas de gerenciamento de banco de dados (DBMS) foram desenvolvidos e implementados nas instituições financeiras. Bancos pioneiros na criação de áreas especializadas em dados incluem o Citibank, o Bank of America e o Chase Manhattan Bank.

Na década de 1970, as instituições financeiras começaram a implementar sistemas de análise de dados para aprimorar a gestão de risco e melhorar a tomada de decisões.

A década de 1980 foi marcada pelo desenvolvimento de sistemas de data warehousing, que permitiam que as instituições financeiras armazenassem grandes quantidades de dados e analisassem esses dados para identificar tendências e padrões de comportamento.

Nos anos 1990 e 2000, as instituições financeiras investiram em tecnologias como o Customer Relationship Management (CRM) e o Enterprise Resource Planning (ERP) para gerenciar melhor seus relacionamentos com os clientes e otimizar seus processos de negócios. Além disso, a década de 2000 foi marcada pelo crescimento explosivo do Big Data, com as instituições financeiras buscando maneiras de lidar com a enorme quantidade de dados gerados pelos clientes e pelas transações financeiras.

Hoje em dia, as instituições financeiras estão investindo em tecnologias como a inteligência artificial (IA) e a aprendizagem de máquina (Machine Learning) para automatizar processos, identificar fraudes e fornecer análises mais precisas e personalizadas para os clientes. Alguns bancos pioneiros lá fora na adoção dessas tecnologias incluem o JP Morgan Chase, o Bank of America e o Wells Fargo.

Na era digital, os dados se tornaram um recurso valioso para as empresas, especialmente para as instituições financeiras no Brasil. O uso adequado de dados e sua organização por meio de uma estratégia eficiente de Data Management pode trazer muitos benefícios para essas empresas, mas também pode trazer dores se não for feito corretamente.

A gestão centralizada de dados em uma instituição financeira envolve a centralização de todas as fontes de dados em um único local, com o objetivo de facilitar o acesso, a análise e o uso dos dados em toda a organização. Essa abordagem é geralmente implementada através de um data warehouse, que é um sistema que centraliza dados de diferentes fontes em um único local.

Uma das principais vantagens da gestão centralizada de dados em uma instituição financeira é que ela permite que os dados sejam acessados e analisados de forma mais rápida e eficiente. Quando os dados estão centralizados em um único local, os usuários da organização têm um acesso mais fácil aos dados, evitando a necessidade de procurar dados em diferentes sistemas ou fontes. Além disso, os dados centralizados são mais fáceis de analisar, permitindo que a organização faça análises mais precisas e abrangentes.

Outra vantagem da gestão centralizada de dados em uma instituição financeira é que ela permite uma melhor governança de dados. Com os dados centralizados, a instituição financeira pode implementar políticas de governança de dados mais facilmente, incluindo regras de acesso, privacidade e segurança. Isso ajuda a garantir que os dados sejam usados de forma responsável e ética e reduz o risco de violações de segurança ou privacidade.

Por outro lado, uma das principais desvantagens da gestão centralizada de dados em uma instituição financeira é que pode ser difícil e caro implementá-la. A criação de um data warehouse pode exigir grandes investimentos em infraestrutura de hardware e software, além de recursos humanos especializados em Data Management. Além disso, pode ser difícil integrar diferentes fontes de dados em um único sistema, especialmente quando essas fontes de dados estão armazenadas em sistemas legados ou em plataformas diferentes.

No entanto, a gestão de dados pode ser uma dor de cabeça para as instituições financeiras se não for feita corretamente. Uma das principais dores é a falta de padronização dos dados. Outra dor em tempos de risco cibernético e LGPD é a segurança dos dados. As instituições financeiras lidam com informações altamente sensíveis e sigilosas, como informações pessoais e financeiras dos clientes. Se esses dados forem comprometidos de alguma forma, isso pode prejudicar a reputação da empresa e levar a sanções regulatórias. Por fim, a falta de integração dos dados também pode ser uma dor de cabeça para as instituições financeiras. Se os dados não estiverem integrados, isso pode dificultar a comunicação entre as diferentes áreas da empresa, tornando difícil a análise de dados em conjunto e a tomada de decisões informadas.

No Brasil, muitos bancos já têm áreas de Data Management dedicadas. Alguns exemplos incluem o BTG (aonde ajudei a implementar), mas tem ainda a Caixa, o Banco do Brasil, o Bradesco, o Itaú Unibanco e o Santander.

Existem diversas empresas que oferecem soluções de dados de mercado e de data management no Brasil como a Bloomberg, Refinitiv Brasil, uma empresa LSEG (antiga Reuters aonde já trabalhei), BDS DataSolution (que alias gosto bastante, pois já fui cliente satisfeito em diversas instituições que já passei), etc

Voltando minha origem com este assunto, que foi o projeto de implementar a área, o sistema, a base de dados, o time, e tudo mais do zero, queria compartilhar as principais etapas desta jornada desafiadora com vocês abaixo.

1) Criar uma estratégia de EDM:

A primeira etapa para implementar uma abordagem de EDM é criar uma estratégia clara e abrangente que estabeleça objetivos, metas e padrões para o gerenciamento de dados. Isso inclui a definição de políticas, processos e procedimentos para o gerenciamento de dados, bem como a identificação de recursos e tecnologias necessárias. Não dá para começar sem um bom planejamento e entendimento do que precisa fazer a cada etapa, e quem vai lhe ajudar, e montar um time de especialistas variados.

2) Identificar fontes de dados:

Em seguida, a segunda etapa importante é começar a identificar todas as fontes de dados em toda a organização. Isso inclui sistemas de negócios, aplicativos, bancos de dados, planilhas, arquivos de texto e outros repositórios de dados. Quem precisa de que dado, e aonde consegui-lo, de que forma, em que periodicidade, quais as fontes, primárias e secundárias, horários de captura, etc.

3) Avaliar e padronizar os dados:

Uma vez que as fontes de dados foram identificadas, é necessário avaliar a qualidade dos dados e padronizá-los. Isso inclui a definição de regras de negócios para dados, como formatos de datas, códigos de status e unidades de medida, e a limpeza e normalização dos dados para garantir a consistência e a precisão. Hora de fazer isto é no começo do projeto. Parar para olhar todas as bases e seus atributos e vai ficar surpreso com a quantidade de dados que os sistemas usam que teoricamente são os mesmos, mas estão guardados em padrões diferentes, como moedas, nome de produtos, nome das carteiras, etc.

4) Criar um modelo de dados corporativo:

É importante criar um modelo de dados corporativo que defina a estrutura e as relações entre os dados em toda a organização. Isso inclui a definição de entidades, atributos e relacionamentos, bem como a criação de um dicionário de dados que descreva cada elemento de dados. Bom gastar tempo e atenção aqui, pensando em todas as possibilidades, pois importante que esta base nasça na estrutura e formato correto, pois vai facilitar bastante mais lá para frente. Precisa pensar que ela vai crescer e novos dados serão incluídos no futuro, e precisa deste espaço para encaixar coisas novas.

5) Implementar uma plataforma e base de dados de EDM:

A implementação de uma plataforma de EDM é fundamental para automatizar e padronizar o gerenciamento de dados em toda a organização. Isso pode incluir a implementação de uma ferramenta de gerenciamento de metadados, uma solução de gerenciamento de dados mestres ou uma plataforma de gerenciamento de dados em nuvem. Pode parecer simples, mas esta fase dá o maior trabalho e demanda bastante tempo.

6) Monitorar e medir o desempenho de EDM:

Também importante depois de tudo monitorar e medir o desempenho de EDM para garantir que os objetivos e as metas estejam sendo alcançados. Isso pode incluir a implementação de métricas de qualidade de dados, relatórios de monitoramento e análise de dados para identificar áreas de melhoria.

Vamos agora dar a dica de quais os perfis de profissionais e especialistas vai precisar nesta sua área, para formar conseguir uma equipe de Enterprise Data Management (EDM) eficaz, Fundamental contratar profissionais qualificados e experientes em diferentes áreas relacionadas a dados como:

1) Gerente de dados:

Que é responsável por liderar a equipe de EDM e garantir que os objetivos e metas da estratégia de dados corporativos sejam alcançados. Esse profissional deve ter conhecimentos sólidos em gerenciamento de projetos, governança de dados, gerenciamento de dados mestres e gerenciamento de metadados.

2) Analista de dados:

Este é responsável por coletar, analisar e interpretar dados de várias fontes para fornecer insights valiosos para a organização. Esse profissional deve ter habilidades em programação, modelagem estatística e análise de dados.

3) Arquiteto de dados:

Este é responsável por projetar e implementar soluções de dados eficazes e escaláveis, incluindo a arquitetura de dados corporativos, a integração de dados e a modelagem de dados. Esse profissional deve ter habilidades em design de banco de dados, integração de dados e gerenciamento de metadados.

4) Especialista em qualidade de dados:

Este é responsável por garantir que os dados da organização sejam precisos, confiáveis e consistentes. Esse profissional deve ter conhecimentos em gerenciamento de qualidade de dados, limpeza de dados e governança de dados.

5) Especialista em segurança de dados:

Este é responsável por garantir que os dados da organização sejam protegidos contra ameaças internas e externas. Esse profissional deve ter conhecimentos em gerenciamento de segurança de dados, privacidade de dados e conformidade regulatória.

Além desses perfis, a equipe de EDM também pode incluir outros profissionais, como desenvolvedores de software, engenheiros de dados e cientistas de dados, dependendo das necessidades específicas da organização. É importante que os profissionais da equipe de EDM tenham habilidades técnicas sólidas, bem como habilidades interpessoais para lidar com outras áreas da instituição.