O que é um data mart e como ele difere de um data warehouse?
Nos últimos dez anos, aproximadamente, o aumento vertiginoso da quantidade de dados produzidos acelerou o desenvolvimento do Big Data. Os mundos do desenvolvimento de aplicativos e do gerenciamento de dados começaram a convergir.
Nesse contexto, saber como centralizar, estruturar, processar e analisar uma massa de dados para um problema específico é essencial: é disso que se trata um data mart. O que exatamente esse conceito abrange? E qual é a diferença entre ele e um data warehouse? Aqui estão algumas explicações.
O que é um data mart?
Data mart: definição
Um data mart, também conhecido como data shop ou data counter, é um banco de dados específico destinado a um determinado grupo de usuários.
Usado em business intelligence, ele é extraído de sistemas de origem, limpo e disponibilizado para usuários de uma área específica da empresa ou para um grupo restrito de usuários.
Exemplo de data mart - © Talend
O data mart deve atender à necessidade final e, portanto, transcrever os dados inicialmente armazenados no data warehouse da forma mais inteligível possível e o mais próximo possível da linguagem comercial.
Exemplo de um data mart
Por exemplo, no departamento de RH de uma empresa, um data mart inicial pode compilar todos os indicadores relacionados ao uso do ERP principal, enquanto outros "blocos de construção" do requisito de RH podem ser data marts diretamente associados a aplicativos secundários muito específicos, como o monitoramento do e-Learning dos funcionários.
Vantagens dos data marts
- Oferece aos usuários uma gama completa de indicadores para os dados de que precisam no dia a dia.
- O mesmo grupo de usuários pode ter acesso a um único data mart ou a vários data marts, cada um correspondendo a uma necessidade específica, dependendo das arquiteturas de TI existentes e da confidencialidade dos dados.
Data mart vs. data warehouse: quais são as diferenças?
Dependendo de como é concebido, o data warehouse pode ser visto como um conjunto de data marts e seus gateways ou, mais comumente, como a centralização em um único sistema que garante a segurança, a disponibilidade e a consistência técnica de todos os dados usados pelos data marts.
Portanto, ele assume uma coloração mais técnica e provavelmente não terá um único campo "Vendas", mas talvez vários componentes das receitas e despesas da empresa, que cada área organizará de acordo com sua própria concepção de vendas.
O data warehouse também possibilitará garantir a rastreabilidade das informações em toda a empresa, enquanto o data mart se limita a atender às necessidades específicas de uma linha de negócios.
Como você constrói um data mart? 3 opções
O data mart integrado ao aplicativo de origem
Se você preferir data marts dedicados a um aplicativo, talvez seja porque o próprio aplicativo oferece ferramentas de análise integradas. Essa parece ser a solução ideal.
Vantagem: as necessidades do aplicativo são atendidas o mais próximo possível, e há consistência entre os dados e sua saída.
Desvantagens:
- custos a médio e longo prazo, pois você não tem controle sobre o resultado dos indicadores;
- você terá menos condições de enriquecê-los com o restante dos dados da sua empresa e vice-versa;
- você pode estar deixando de lado as opções para alimentar esses dados de volta ao data warehouse.
Portanto, você perde em potencial o que ganha em velocidade de implementação.
O datamart independente do datawarehouse
Essa é uma versão mais avançada da anterior, pois pode ter sido configurada internamente, mas ainda a partir de uma fonte muito específica da qual é muito dependente.
Vantagem: você tem mais liberdade quando se trata de renderizar elementos.
Desvantagem: o fato de não estar integrado ao restante do data warehouse sempre reduz o potencial de resposta às necessidades do usuário no médio prazo.
O data mart como um bloco de construção do data warehouse
Os data marts devem ser construídos em torno de um data warehouse para maximizar seu potencial. Sua integração pode ser :
- ️ ascendente: um conjunto de data marts que permite a constituição de um datawarehouse,
- ↘️ top-down: a centralização dos dados no data warehouse permite a criação de todos os blocos de construção necessários.
Vantagens :
- conexão com outras áreas da empresa, permitindo que os principais indicadores de seu desempenho sejam refinados e explicados com precisão. Por exemplo, você pode
- destacar uma correlação entre a queda de resultados em um determinado circuito da sua plataforma de e-learning e um aumento de incidentes em uma linha de produção.
- otimizar sua taxa de produção com base em uma análise do pipe em sua ferramenta de CRM.
- A disposição desses blocos de construção dentro ou ao redor de um datawarehouse aumenta suas chances de garantir que seus indicadores sejam interpretados corretamente para uso multifuncional a longo prazo.
Desvantagem: perda de independência
Quais ferramentas para meus data marts?
É claro que não faltam ferramentas de ETL para processar dados em massa e analisá-los rapidamente.
Mas também existem ferramentas de armazenamento dedicadas, de código aberto ou proprietárias, prontas para uso em seu data mart.
Como em qualquer escolha que coloque o código aberto contra as soluções do fornecedor, o suporte e a capacidade interna de desenvolver ou adaptar componentes serão os critérios a serem levados em conta.
Do data mart ao DataOps
A integração de seus data marts em um data warehouse deve ser um dos principais objetivos de sua arquitetura. E a evolução adequada desse data warehouse é seu corolário.
Como as equipes técnicas estão expostas a demandas cada vez maiores e a uma necessidade crescente de capacidade de resposta, tivemos que adaptar nossos métodos de desenvolvimento e implantação usando as técnicas de integração contínua que provaram seu valor no mundo dos aplicativos. Portanto, a engenharia de dados deve se submeter a um novo paradigma: DataOps, derivado do DevOps.
Em resumo, a adaptação dos princípios do DevOps ao mundo dos dados oferece uma nova resposta aos desafios da criação de data marts em um contexto de forte crescimento.
Artigo traduzido do francês