SAD Sistemas de Apoio Deciso

Modelagem Dimensional de Dados Conceitos Avanados Profa.: Ellen Souza

UFRPE

1 Universidade Federal Rural de Pernambuco Unidade Acadmica de Serra Talhada

Modelagem Dimensional
Alguns refinamentos podem ser realizados na modelagem dimensional e casos especiais podem surgir, tais como:
Conformidade de Dimenses Combinao de Dimenses Dimenses Especiais Dinmica das Dimenses Dimenses Degeneradas Dimenses Lixo (junk) Campos chaves de Dimenses e Fatos Tabela fatos sem dados ou mtricas Tabelas fatos com classificao ou subtipos Relacionamentos M:N entre Fatos e Dimenses Agregados
2/41

Conformidade de Dimenses
Representa a coerncia de definies entre dimenses estabelecidas em momentos diferentes do projeto de DW/DM As dimenses devem sempre ter o mesmo sentido semntico, para que os diversos esquemas dimensionais de diferentes DM possam ser cruzados, a fim de produzir informaes compatveis
Principal dificuldade dos DMs evolutivos!! No planejamento, as principais dimenses devem ser identificadas
3/41

Conformidade de Dimenses
Regra bsica: sempre definir as dimenses com o maior grau de granularidade (mais detalhada) possvel Para dimenses clssicas como a de TEMPO, que compartilhada por todos os DMs:
Definir a menor unidade desejada (dia ou hora, dependendo da necessidade do negcio) Definir hierarquias completas: Ano Semestre Trimestre Ms Dia

4/41

Conformidade de Dimenses
Existem casos em que as dimenses sero acessadas por usurios diferentes atravs de hierarquias diferentes. A dimenso PRODUTO, por exemplo, poder ter as hierarquias:
Categoria Fabricante Produto Produto

Ambas hierarquias podem ser definidas na mesma dimenso, juntamente com outros dados

5/41

Conformidade de Dimenses
Algumas consideraes dimenso TEMPO:
Suponha a hierarquia: Ano Semana Dia

especiais
Trimestre

sobre
Ms

Cada Trimestre pertence a somente um Ano Cada Ms pertence a somente um Trimestre Cada Ms possui vrias Semanas (4 ou 5), mas a Semana pertence somente a um Ms??? No! Logo, Semana no faz roll-up com Ms

Uma hierarquia como Ano Trimestre Ms Dia permite roll-up nos seus diferentes nveis
6/41

Conformidade de Dimenses
Exemplo de roll-up na dimenso TEMPO com hierarquia incompatvel

7/41

Conformidade de Dimenses
Em alguns casos, no possvel construir dimenses com total conformidade Para tentar resolver ou atenuar os impactos dessas dimenses, pode-se estabelecer uma grande rea chamada Staging onde as dimenses seriam armazenadas antes de serem levadas aos DMs
Nesse BD, as dimenses e suas instncias estariam bem definidas, com os seus relacionamentos e documentados, permitindo um certo controle e gerncia sobre as dimenses dos diferentes DM
8/41

Combinaes de Dimenses
Em alguns casos, as dimenses podem ser combinadas numa nica Entidade (ou Tabela), essa abordagem

usada quando existe uma forte coeso entre as duas dimenses, ou seja, elas acontecem (quase sempre) juntas, e para determinados subconjuntos de valores combinados Por exemplo, se somente certos PRODUTOS so vendidos em certas LOJAS. Isso pode sugerir uma combinao de dimenses, desde que observado o aspecto de proliferao, gerado pelo produto cartesiano, que poderia elevar o nmero de instncias da dimenso
9/41

Dimenses Especiais
Algumas dimenses so consideradas clssicas e esto presentes em quase todos os projetos de DW/DM. TEMPO
Projetos de DW/DM focam muito na evoluo histrica

ESPAO
O comportamento dos fenmenos variam com o local (LOJA, RGO, ARMAZM...) associadas a hierarquia geogrfica: PAS, CIDADE, ESTADO...

OBJETO
Voltada para o objetivo do negcio. CLIENTE, PRODUTO, PESSOAS... Quanto mais rica for a definio das dimenses, maior ser a possibilidade de anlises complexas!!
10/41

Dimenses Especiais
Dimenso Tempo
Se a granularidade definida for Dia, podemos ter os seguintes atributos:
Data-Completa: 01-01-2009 Dia-Semana: Sexta-Feira Nmero-Ms: 01 Nmero-Dia-Ano: (1 a 365) Nmero-Semana-Ms: ( 1 a 4 ou 5) Nmero-Semana: (1 a 52) Ms-Ano: (Janeiro a Dezembro) Nmero-Ms: ( 1 a 12) Trimestre: (1 a 4) Tag para: Final de semana, feriado, ltimo dia do ms
11/41

Dimenses Especiais
Dimenso Tempo
Tags permitem anlises interessantes sobre acontecimentos
Controle de audincia, Vendas no Feriado

Dever ser planejada com a sua perspectiva de uso (2, 4, 8 anos) Dever ser carregada em sua totalidade, no incio do projeto, j que as suas informaes so conhecidas e independentes de tabela Fato
12/41

Dimenses Especiais
Dimenso Cliente
Importante em qualquer sistema de vendas, principalmente com o crescimento dos CRMs (Customer Relationship Management) Alguns campos importantes so:
Saudao (Dr, Dra...), Prenome-Nome-Meio, Sobrenome, Sufixo, Gnero, Profisso, E-mail, Web-Site, Classificao, Organizao, Departamento, Subdepartamento, Endereo, Telefones e etc

Quem conhece melhor o seu cliente, maior chance ter de manter a sua fidelizao, ou de buscar novos negcios atravs desses relacionamentos!
13/41

Dinmica das Dimenses

Est relacionada com as estratgias de manuteno das informaes quando ocorrerem processos de atualizao Significa definir uma abordagem para quando houver:
Atualizao de endereo do cliente Mudana na descrio do produto

fundamental o registro desses valores em funo do tempo para sistemas de DW/DM

14/41

Dinmica das Dimenses

Trs estratgias para controle de alterao podem ser utilizadas

Para a opo B, so necessrios atributos que indiquem a data de validade do perfil, bem como flag indicando o perfil corrente

15/41

Dinmica das Dimenses

No caso de projetos de dimenses com alto volume e alta volatilidade, a estratgia recomendada a diviso dos dados

16/41

Dimenses Degeneradas
Est relacionada com objetos do tipo evento, como Ordem de Compra, Nota Fiscal ou Pedido (Ordem) de Servio Essas entidades so compostas por Itens (item de OC, linha de NF, item do PS) Quando tabela Fato est definida granularidade de Item, o nmero documento maior (OC, NF, PS) estar tabela para desempenhar o papel alinhavador dos itens daquele documento na do na de
17/41

Dimenses Degeneradas
Exemplo para itens de uma Ordem de Compra

18/41

Dimenses Lixo (Junk)

Est relacionada com a dimenses para campos caractersticas diferenciadas valores binrias, com pequena como por exemplo definio de com certas como tags, cardinalidade,

Sexo (F ou M) Estado Civil (Casado, Solteiro ou Divorciado) Contribuinte (Sim ou No)

Apesar de no terem muita relao com o Fato, interessante mant-los para serem utilizados como filtros
19/41

Dimenses Lixo (junk)

No exemplo, so definidas 3 tags sobre condies de armazenamento: climatizada, manuteno especial e transporte especial

20/41

10

Dimenses Lixo (Junk)

Exemplo para controle de redundncia de texto

21/41

Campos Chaves de Dimenses e Fatos

Uma regra bsica e bastante recomendvel nos projeto DW/DM a utilizao de chaves surrogates ou artificiais Significa definir como campo chave de Dimenses (consequentemente de Fatos), campos sem qualquer valor semntico embutido Normalmente, so campos sequenciais do SGBD
22/41

11

Campos Chaves de Dimenses e Fatos

O uso de chaves naturais (matrcula, cpf...) poder apresentar os seguintes problemas:
Unicidade: A chave de um cliente pode mudar aps uma fuso ou venda de uma empresa Ausncia: Algumas entidades podem no ter chaves naturais E a manuteno das dimenses???

Melhor capacidade de implementao de chaves artificiais, normalmente com 4 bytes

Ajudam na criao de ndices Alcanam at 2 bilhes de ocorrncias So transparentes para os usurios
23/41

Campos Chaves de Dimenses e Fatos

Alguns problemas com as chaves artificiais
Por serem produzidas automaticamente, falhas operacionais podem ocorrer e as tabelas necessitam ser re-processadas Impedem que tabelas Fato sejam processadas diretamente, uma vez que a Fato s conter chaves artificiais e mtricas. Qualquer pesquisa passar pelas tabelas Dimenso

24/41

12

Tabelas Fatos sem Dados ou Mtricas

No muito comum, mas pode acontecer. O objetivo relacionar as vrias tabelas Dimenso envolvidas no modelo

25/41

Tabelas Fatos com Classificao ou Subtipos

Existem casos onde o modelo de negcio poder demandar vrios tipos de tabela Fato, uma para cada linha de produto oferecido naquele ambiente A estratgia a mesma do modelo ER. Usar uma tabela para armazenar dados comuns a todos os tipos e outras para armazenar informaes especficas de cada tipo

26/41

13

Tabelas Fatos com Classificao ou Subtipos

Exemplo Modelo E/R com Tipo e Subtipo

27/41

Tabelas Fatos com Classificao ou Subtipos

Exemplo de Modelo Dimensional tratamento de Multi-fatos Tabela Base para

28/41

14

Tabelas Fatos com Classificao ou Subtipos

Exemplo de Modelo Dimensional para tratamento de Multi-fatos Tabelas Especializadas

29/41

Tabelas Fatos com Classificao ou Subtipos

Exemplo de Modelo Dimensional tratamento de relacionamentos M x N
A Nota e Classificao esto relacionadas com vrios jurados A Dimenso Corpo Jurado substitui as tabelas Nota, Quesito, Jurado

para

30/41

15

Agregados
Valores agregados (resumo pr-armazenado) representam uma soluo e algum problemas Soluo
Criao de tabelas prontas, trabalhadas e sumarizadas em vrias dimenses corretas Facilitam os acessos aos dados e agilizam os processos decisrios Agilizam em at 1000 vezes o tempo de processamento

Problemas
Criam redundncias e conseqentemente, gastam mais espao para armazenar dados j processados que foram derivados do DW/DM
31/41

Critrios para Definio de Agregados

Passa pela anlise dos principais tipos de informao necessrios e pela dificuldade de obt-los diretamente das tabelas granulares
Suponha o DW/DM descrito abaixo em SQL

32/41

16

Critrios para Definio de Agregados

Os valores em negrito seguintes hierarquias: representam as

Regio Loja: hierarquia com dois nveis Categoria Produto: hierarquia com dois nveis Ano Ms Dia: hierarquia com trs nveis O nmero de tabelas de agregados est relacionado com as combinaes ternrias, binrias e unrias das hierarquias O volume est diretamente associado s ocorrncias de cada nvel combinado
33/41

Critrios para Definio de Agregados

Por exemplo, podemos combinar:
Ternria regio + categoria + ano ou regio + categoria + ms (2 x 2 x 3 = 12 opes) Binria regio + categoria ou ano + loja (2 x 2 + 2 x 2 + 2 x 3 = 16 opes) Unria loja ou categoria ou ms ( 2 + 2 + 3 = 7 opes)

No total, temos 34 combinaes possveis de agregados para analisar e selecionar as que oferecem maior disponibilidade de informaes
Se as colunas escolhidas tiverem muitos valores diferentes, os registros agregados sero em grande nmero, e podero no otimizar o processamento em termos de performance, se comparado com tabelas granulares

34/41

17

Alguns Cuidados na Definio de Agregados

Valores Aditivos
Na construo dos agregados, deve-se observar as mtricas que nem sempre so aditivas em todas as dimenses

Preciso
Os valores aditivos devero ser maiores que os usados nos respectivos valores das tabelas granulares

No recomendado armazenar os valores de Fatos granulares e agregados na mesma tabela

35/41

Entendendo e Produzindo Agregados

Uma forma de se entender melhor o uso de agregado atravs dos comandos SQL

36/41

18

Entendendo e Produzindo Agregados

Agregadas devero compor um modelo separado

37/41

Entendendo e Produzindo Agregados

Uma definio importante no projeto operacional dos Agregados a estratgia de carga total versus a sua atualizao incremental Essa deciso leva em conta:
Tempo de Processamento Recarga total dos agregados Complexidade de Programas atualizao incremental

38/41

19

Metadados
Importante documentao das aplicao DW/DM

39/41

Exerccio
Construir os modelos dimensionais propostos no captulo 6 do livro texto Utilizar ferramenta para modelagem de dados, como DBDesign, ERWin
trs dimenses, tabela fato com x linhas

40/41

20

Referncias
Leitura Obrigatria
Captulo 5 - Barbieri, Carlos. BI Business Intelligence. Axcel Books. 2001.

Leitura Sugerida
Kimball, Ralph. Data Warehouse Toolkit Tcnicas para construo de Data Warehouses Dimensionais. Makron Books. 1998.

41/41

21