Universidade Federal do Rio de Janeiro Escola Politcnica Departamento de Engenharia Eletrnica e de Computao MBA de Gesto Estratgica da Informao GEI

16 - Informao e Suporte a Deciso Professor Sergio Palma

Cezar Taniguchi D. Tamer Daniel Perez Leonardo Miccolis Lus Augusto Quaresma Ramos

 Extrao de dados de fontes Transformao: limpeza, formatao, padronizao, agregao ou aplicao de regras de negcio.

Carga dos dados em sistemas, Data Warehouses ou arquivos em diferentes formatos.

 Processos de ETL so componentes reutilizveis que podem ser programados para realizar a transferncia de dados regularmente. So projetados para alta eficincia, escalabilidade e manutenabilidade. Grandes volumes de dados se beneficiam da capacidade do ETL de suportar operaes paralelas (MPP).

1. Incio do ciclo; 2. Gerar informao de referncia; 3. Extrao da informao das diversas fontes; 4. Validao; 5. Transformao (limpeza, regras de negcio, integridade dos dados, agregao ou desagregao); 6. Carga em tabelas de aceite; 7. Relatrios de auditoria (de acordo com as regras de negcio); 8. Publicao para tabelas de destino (aps aceite); 9. Arquivar.

 Captar dados de fontes (sistemas/reas) distintas forma programtica;

Transformar em informao de qualidade (consistentes e normalizadas) evitando redundncias; Carregar as informaes normalizadas para permitir a anlise posterior e servir no suporte a deciso.

Sero mostrados alguns exemplos de casos bem sucedidos de implantao de ETL.

Problema:
Honda UK Manufacturing (HUK) queria melhorar a comunicao

com a sua rede de concessionrias, o que at ento era um grande desafio.

O principal desafio foi que muitas de suas 200 concessionrias

utilizavam diferentes tipos de Sistema de Gesto de Concessionrias (DMS), o que impedia a comunicao rpida e fcil e o compartilhamento destas informaes. Estes sistemas tm diferentes padres de codificao, regras de negcios e diferentes opes para exportao de dados, abrindo grande margem para erros.
A rede de concessionrias simplesmente no "fala" com a Honda

de forma fcil e direta; HUK vinha lutado com este problema h quase dez anos, algo tinha que ser feito.

Soluo:
A Honda selecionou 2 projetos: 1. Projeto de Fatura de Servios e Venda de Carros Usados: para realizar uma Pesquisa de Satisfao do Cliente no ps-venda e gerar Lembretes de Servios para todas as concessionrias do Reino Unido. 2. Reposio Automtica de Peas: para transferir dados das concessionrias para o Sistema de Planejamento Automtico (APS) em Bruxelas, buscando comparar os nveis de estoque atual nas concessionrias com o histrico de vendas e ento automaticamente restabelecer as peas para atender demanda projetada.

Soluo:

Os dados so transferidos dos servidores ETL dedicados das concessionrias para o escritrio da Honda em Bangor, Pas de Gales, onde so verificados e consolidados com os dados recebidos da HUK. Os resultados so enviados para a HUK, para anlise e para gerar lembretes da prxima data de servio.

Resultados:

A integrao das concessionrias agora muito mais rpida. Melhora na satisfao dos clientes. Os projetos tm revolucionado de vrias formas a maneira como a Honda trabalha com suas concessionrias. Uma melhor comunicao, relacionamento e servios para as concessionrias

Eficincia da cadeia de abastecimento.

 Quanto as empresas gastam em ETL? ETL Market Share Tendncias de Mercado

2007

As principais tendncias na integrao de dados este ano: A demanda por integrao de dados continua a exceder a capacidade dos fornecedores. A integrao de dados corporativos continua a expandir alm do ETL e DW. MDM (Master Data Management) e CDI (Customer Data Integration) dependem cada vez mais da experincia de Integrao de dados das empresas. ETL est se expandindo para mercados de pequeno e mdio porte. Excessivo uso de ferramentas de ETL e fracasso de empresas iniciantes em integrao de dados. O BI operacional adotada porque a integrao de dados muito difcil. A disputa por Market Share entre pequenas e mdias empresas e ETL departamental em grandes empresas est entre desenvolvimento interno e ferramentas de ETL prontas.

Informatica Power Center SAS SSIS SAP IBM ORACLE Pentaho Kettle

Vantagens: Maior presena e recursos no mercado de ferramentas de ETL; Histrico consistente, tecnologia confiavel, curva de aprendizagem simples, execuo em tempo real, sistema de integrao de dados Especializada em ETL e integrao de dados, e no em BI como um todo foco em troca de dados de B2B

Desvantagens: Diversas parcerias, diminuindo o valor da tecnologia Experiencia limitada no campo de ETL

Vantagens: Empresa experiente no mercado, ferramenta com suporte e poderosa integrao de dados com gerenciamento multi-funes; Muito flexivel, pode trabalhar com diversos SOs e coletar dados de diversas fontes; Grande suporte a empresas de pequeno e mdio porte.
Desvantagens: No bem reconhecida, ficando fora da fora de vendas; SAS tem que aumentar a influencia para alcanar as comunidades sem ser de BI; Custo.

Vantagens: Ampla documentao, suporte e melhores praticas para DW; Fcil e rpida implementao; Integrao de dados padronizado; Capacidade de integrao em tempo real baseada em mensagens; custo relativamente baixo, excelente suporte e modelo de distribuio. Desvantagens: Problemas em ambientes que no sejam Windows; Assume as limitaes do Microsoft Windows; Viso e estratgia obscura.

Vantagens:
Integrao com SAP; Boa modelagem de dados e suporte a gerenciamento de dados; SAP BO prov ferramentas para minerao de dados e qualidade, perfil devido a aquisies de diversas empresas; Rpida curva de aprendizado e fcil utilizao.

Desvantagens:
SAP BO visto como duas empresas diferentes; Futuro incerto. Controversia para decidir entre qual mtodo de entrega de integrao de dados usar (SAP ou BODI); BO Data Integrator (Data Services) no pode ser visto como uma aplicao capaz stand-alone em algumas empresas.

Vantagens: Forte viso sobre o mercado, flexibilidade; Caminhando para uma plataforma comum de metadados; Alto nvel de satisfao dos clientes e variedade de iniciativas. Desvantagens: Curva de aprendizagem difcil; Longo ciclo de implementao; Tornou-se muito pesado e requer muito poder de processamento.

Vantagens: Baseado em duas ferramentas poderosas o Oracle Warehouse Builder e Oracle Data Integrator; Conecta a todas as aplicaes Oracle Datawarehouse; Tendncia para integrar todas as ferramentas em uma aplicao e um ambiente. Desvantagens: Foco em solues de ETL, ao invs de um contexto aberto para gerenciamento de dados; Ferramentas so usadas para transformaes orientadas a batch, ao invs de processamento em tempo real ou entrega de dados; Ligao entre OWB e ODI ficou na promessa, clientes confusos na rea de funcionalidade e futuro incerto.

Vantagens: Open Source: baixo custo; Qualidade, segurana e independncia de fornecedor; Possibilidade de adequao a necessidades especficas, estabilidade e suporte tcnico.
Desvantagens: Por ser open source no tem suporte tcnico; necessrio investimentos com implantao, treinamento e suporte.

Cezar Tamer Consultoria de Bi Tel: (21) 8570-9797

 Microsoft SQL Server Integration Services

 Integrao de dados do SAP com Flat Files manipulados para criao de hierarquia

 Tratamento dos dados

 Controle de atualizao de registros

 Controle de dados

 Chaves de medidas

 Processando base OLAP

 Microsoft SQL Server Integration Services (SSIS) Kettle do Pentaho (verso community)

ETL Market - http://www.slideshare.net/mrm0/etl-market-webcast acessado em: 08/10/2011 Fornecedores Lderes - http://www.etltools.net/etl-tools-comparison.html acessado em: 08/10/2011 ETL Price - http://www.adeptia.com/products/etl_vendor_comparison.html acessado em: 08/10/2011 Trends - http://seekingalpha.com/article/184700-top-10-data-integration-trends-for2010 acessado em: 09/10/2011 Case Studies - http://www.etlsolutions.com/en/content/cms/case-studies/ acessado em: 09/10/2011 Jitterbit - www.jitterbit.com/Solutions/etl-data-integration acessado em: 09/10/2011 Wherescape - www.wherescape.com/products/wherescape-red/ acessado em: 10/10/2011 Pentaho - http://sourceforge.net/projects/pentaho/files/ acessado em: 09/10/2011 Pentaho http://wiki.softwarelivre.org/pub/PentahoBrasil/Documentos/Pentaho_3_5.pdf acessad o em: 09/10/2011 Microsoft SQL Server 2008 Integration Services: Problem Design Solution