Data Warehouse

2
Abordagem do trabalho
Introduo
Caractersticas dos dados
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento do DW
Extrao de informaes
Ferramentas para consultas
Anlise final
Introduo
3
Introduo
O que um Data Warehouse?
Data Warehouse: Ambiente
especializado que filtra,
integra, e disponibiliza
informaes gerencias a partir
de sistemas operacionais e
fontes externas.
Data Warehouse
4
Componentes de um Data Warehouse
Warehouse
5
Caractersticas Sistemas Operacionais Data Warehouse
Objetivo
Operaes dirias do
negcio
Analisar o negcio
Uso Operacional Informativo
Tipo de
processamento
OLTP OLAP
Unidade de
trabalho
Incluso, alterao,
excluso
Carga e consulta
Nmero de
usurios
Milhares Centenas
Tipo de usurio Operadores
Comunidade
gerencial
Interao do
usurio
Somente pr-definida Pr-definida e ad-hoc
Sistemas Operacionais x Data Warehouse
6
Sistemas Operacionais x Data Warehouse
Caractersticas Sistemas Operacionais Data Warehouse
Condies dos
dados
Dados operacionais Dados Analticos
Volume Megabytes gigabytes Gigabytes terabytes
Histrico 60 a 90 dias 5 a 10 anos
Granularidade Detalhados Detalhados e resumidos
Redundncia No ocorre Ocorre
7
Sistemas Operacionais x Data Warehouse
Caractersticas Sistemas Operacionais Data Warehouse
Estrutura Esttica Varivel
Manuteno
desejada
Mnima Constante
Acesso a registros Dezenas Milhares
Atualizao Contnua (tempo real) Peridica (em batch)
Integridade Transao A cada atualizao
Nmero de ndices Poucos/simples Muitos/complexos
Inteno dos
ndices
Localizar um registro Aperfeioar consultas
8
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Caractersticas
9
Caractersticas
1) Orientado para reas de interesse
O DW deve abordar os principais
assuntos ou negcios da empresa.

Exemplos: vendas
compras
produo
marketing
clientes
produtos
10
Caractersticas
2) Dados completamente integrados
Representao nica para os
dados provenientes dos diversos
sistemas operacionais e fontes
externas.

Ambiente Operacional Data Warehouse

Aplicao A - (M,F)
Aplicao B - (H,M) M, F
Aplicao C - (0,1)
11
Caractersticas
3) Dados variveis no tempo
Os dados so precisos em algum
instante no tempo.
Mostram uma imagem da poca em que
foram gerados.

Chave
temporal



Dados primrios



Dados Secundrios
Instantneo
12
Caractersticas
4) Ambiente no voltil
Em um DW no existem alteraes
de dados, somente a carga inicial
e as consultas posteriores.

13
Caractersticas
5) Localizao exclusiva
O acesso ao DW no deve
interferir no desempenho dos
sistemas operacionais.

Armazenados em um nico local
Distribudos por reas de interesse
Armazenados por nveis de detalhes

14
Caractersticas
6) Credibilidade dos dados
Dados de baixa qualidade
comprometem o sucesso do DW.
Caractersticas da qualidade dos dados:
Preciso, abrangncia, consistncia, coerncia,
tempo de resposta, singularidade.
15
Caractersticas
7) Granularidade dos dados
Nvel de detalhe das unidades de dados
em relao ao tempo
Alto nvel de detalhe Baixo nvel de detalhe
Baixa granularidade Alta granularidade
Dirio Mensal
16
Caractersticas
8) Metadados
Informaes sobre os dados
Estrutura dos dados
Fontes dos dados
Transformaes sofridas
Modelos de dados
Localizao das informaes
17
Funes em um
Data Warehouse
Gerente do DW
Arquiteto de dados
Administrador de metadados
Administrador do BD
Usurio de nvel gerencial
Analista de processos e aplicaes
Especialista em aplicaes operacionais
Analista e programador de converses
18
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Arquiteturas
19
Arquiteturas
Arquitetura genrica segundo Orr
DADOS OPERACIONAIS
FONTES EXTERNAS
ACESSO AOS DADOS
ACESO A INFORMAO
METADADOS
GERENCIAMENTO DE
PROCESSOS
TRANSPORTE
DATA WAREHOUSE
EXTRAO DE DADOS
20
Base de
dados
Base de
dados
Base de
dados
Integrador
Extrator Extrator Extrator

Data warehouse
Consultas Consultas
Arquiteturas
Arquitetura funcional segundo Valente
21
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Modelos de dados
22
Modelo de dados
Ajuda a compreender as regras de negcio e
as informaes que o DW apoiar.
Papel fundamental no desenvolvimento do
DW.
Permite a integrao das diversas
informaes necessrias ao DW.
23
Modelos de dados
Segundo R.Kimball
1) Modelo empresarial

2) Modelo dimensional

3) Modelo fsico

24
Modelos de dados
Segundo W.H.Inmon
1) Modelo de alto nvel


2) Modelo de nvel intermedirio


3) Modelo de baixo nvel
25
Modelos de dados
Modelagem Multidimensional
Tcnica de projeto lgico freqentemente
usada para DW

Principal objetivo apresentar o dado em
uma arquitetura padro e intuitiva

26
Modelos de dados
Modelo Estrela (Star)
27
Modelos de dados
Vantagens do modelo Estrela
Arquitetura padro e previsvel
As dimenses so simtricas, so
pontos de entrada para a tabela de fatos
flexvel a mudanas de projeto
Existem abordagens padres para os
casos mais comuns
28
Modelos de dados
Modelo muito simtrico
Multiplicidade de ligaes
Tamanho
Consultas no so rpidas
Desvantagens do Modelo E-R
para o DW
29
Modelos de dados
Modelo E-R X Modelo Estrela
Caractersticas Modelo E-R Modelo Estrela
Quantidade Tabelas Dezenas ou centenas
1 tabela de fato e suas
dimenses
Escolha das entidades
e atributos
Baseia-se na realidade
dos sistemas operacionais
Baseia-se na opinio do
usurio sobre as
anlises futuras
Relacionamentos Explcitos
Definidos pelas relaes
entre as dimenses e a
tabela de fatos
Viso da informao Transaes atmicas Fatias de tempo
Abrangncia Um ou mais sistemas Toda a empresa
30
Modelos de dados
Mapeamento E-R / Estrela (Kimball)
Dividir o E-R nos principais focos de
interesse
Escolher e/ou definir as tabelas de fatos
Definir as dimenses
Obs.: Tabelas de dimenso que se conectam
a mais de uma tabela de fatos, aparecem em
ambos os esquemas

31
Data
Warehouse
Vendas
Compras
Estoque
DW departamental
Personalizados
Menor volume de dados
Histrico limitado
Dados sumarizados
Menor prazo de concluso
Baixo custo

Modelos de dados
Mapeamento E-R / Estrela (Inmon)
Data Marts
32
Modelos de dados
Utilizao de um repositrio intermedirio,
no normalizado como o E-R e nem
desnormalizado como o Estrela.
Repositrio um local para guardar os dados
retirados dos sistemas da empresa, para os
Data Marts consultarem.
Mapeamento E-R / Estrela (Inmon)
33
Modelos de dados
Mapeamento do repositrio
intermedirio
1) Remoo dos dados puramente operacionais
2) Adio de um elemento de tempo na estrutura
da chave
3) Adio de dados derivados apropriados
4) Transformao de relacionamentos entre dados
em artefatos dos dados
34
Modelos de dados
5) Acomodao dos diferentes nveis de
granularidade
6) Merge dos dados comuns de diferentes tabelas
7) Criao de arrays de dados
8) Separao dos atributos de dados de acordo com
sua estabilidade
Mapeamento do repositrio
intermedirio
35
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Desenvolvimento
36
Desenvolvimento
Resumo das etapas do projeto
1) Determinar necessidades dos usurios;
2) Criar um modelo de dados que atenda as necessidades;
3) Escolher as fontes de onde os dados sero extrados;
4) Definir como e quando os dados sero extrados dos sistemas
operacionais;
5) Extrair, filtrar e transformar os dados;
6) Preencher o DW com os dados extrados;
7) Fornecer aos usurios ferramentas de consulta;
37
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Povoamento
38
Povoamento
Passagem dos dados do ambiente
operacional para o ambiente do DW
Extrair: triggers, logs, instantneos;
Filtrar: digitao errada, caracteres
estranhos, abreviaes e outras violaes;
Transformar: unidades, precises,
cdigos, granularidades, abstraes.
39
Povoamento
Ferramentas para suporte a extrao
dos dados operacionais
Existem vrias ferramentas especializadas em
alguns dos processos necessrios.

Engenharia reversa
Extrao
Transporte
Replicao
Controle de qualidade dos dados
40
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Extrao de informaes
41
Consulta aos dados do DW
Ferramentas para extrair informaes
do DW (componentes front-end)
Geradores de consultas e relatrios
EIS - Executive Information Systems
OLAP - On-Line Analytical Processing
Data Mining
42
EIS - Executive I nformation Systems
Nvel gerencial;
Muitos recursos grficos;
Fceis de usar;
Acesso rpido e em vrios nveis;
Uso intenso de fontes externas;
Controlam vrios indicadores de
desempenho.

EIS ToolKit (Micro Strategy)
SAS/EIS (SAS Institute)
Consulta aos dados do DW
43
OLAP - On-Line Analytical Processing
Ferramentas ROLAP
(Relational On-Line
Analytical Processing)
Ferramentas MOLAP
(Multidimensional
On-Line Analytical
Processing)
Consulta aos dados do DW
44
OLAP - On-Line Analytical Processing
Ferramentas MOLAP:
Express Analyzer sobre Express Server
(Oracle),
Dimension Control sobre Essbase
(Dimension Data Systems)
Ferramentas ROLAP:
DSS Web (MicroStrategy);
WebOLAP (Information Advantage)
Commander DecisionWeb (Comshare)
Consulta aos dados do DW
45
Ferramentas de Data Mining
Cruzamento de informaes da base de
dados na procura de padres;
Anlise indutiva atravs de algoritmos e
critrios especificados;
Intelligent Miner (IBM),
WizWhy (WizSoft),
IDIS (Information Discovery)
Consulta aos dados do DW
46
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final
Ferramentas
47
Integrao com sistemas de
gesto empresarial
Oracle: Finantial Analyser, Finantial
Controller, Sales Analyser
Datasul: em desenvolvimento
SAP: Business Information Warehouse
PeopleSoft: Nvision, Query
NCR: Teradata
Ferramentas comerciais
48
Ferramentas comerciais
Maestro (Hyper Consultoria)
Ferramenta para desenvolvimento de
aplicaes front-end;
Recursos grficos padro Windows;
Implementa bases de dados
multidimensionais em bases relacionais;
Possui vrios mdulo que permitem o uso
e a administrao de um DW.
49
Maestro (Hyper Consultoria)
50
Abordagem do trabalho
Introduo
Caractersticas
Arquiteturas
Modelos de dados
Desenvolvimento
Povoamento
Extrao de informaes
Ferramentas
Anlise final Anlise final
51
Anlise final
Dificuldades de
desenvolvimento do DW
Coletar e integrar os dados
Padronizar os dados
Dados inconsistentes
Dimensionamento de hardware
52
Pontos a evitar no
desenvolvimento do DW
Criar falsas expectativas
Incluir todas as informaes existentes
Focalizar-se em dados do tipo registros
Acreditar que o processo de desenvolvimento
DW possui um fim

Anlise final
53
Anlise final
Vantagens da utilizao de um DW
Simplifica e auxilia a administrao;
Melhora a qualidade dos dados;
Rpido acesso a informaes histricas;
Fcil de usar;
Separa as operaes de deciso e operao;
Pode fornecer um retrospecto da evoluo da
empresa com perodo de vrios anos;
Traz vantagens competitivas;
54
Anlise final
Desvantagens da utilizao de um DW
Complexidade de desenvolvimento
Tempo de desenvolvimento
Custo de desenvolvimento e manuteno
Constantes treinamentos
55
Concluso
rea interessante, porm complexa.
Exige pessoas especializadas e o
envolvimento da empresa.
Comear pequeno.
Desafio aos mtodos tradicionais de
desenvolvimento de software
Espao para trabalho futuros
56
Algumas empresas que utilizam DW
Grupo Silvio Santos
Jornal o Globo
Cervejaria Kaiser
Bradesco
Latasa
Avon
Serpro
Lojas Brasileiras e Marisa
Banco Ita
Companhia Siderrgica Nacional
Banco Amrica do Sul