Fundamentos de Big Data

Captulo 1 Definio e fundamentos do Big Data

Prof. Joo Guilherme Gallo

Aula 1.1 Definio e contextualizao

Nesta aula
Conceitos fundamentais

Contextualizao
O que Big Data?

Contextualizao
O que Big Data?

Contextualizao
O que Big Data?

Contextualizao
O Que Big Data?

Contextualizao
O que Big Data?

Contextualizao
O que Big Data?

Contextualizao
O Que Big Data?

Definies
O Que Big Data?
Termo adotado pelo mercado para descrever problemas no gerenciamento e

processamento de informaes extremas as quais excedem a capacidade das

tecnologias de informaes tradicionais ao longo de uma ou vrias dimenses. Big
Data est focado principalmente em questes de volume de conjunto de dados
extremamente grandes gerados a partir de prticas tecnolgicas, tais como mdia
social, tecnologias operacionais, acessos Internet e fontes de informaes

distribudas. Big Data essencialmente uma prtica que apresenta novas

oportunidades de negcios.

Gartner Group

Definies
O Que Big Data?
Termo adotado pelo mercado para descrever problemas no gerenciamento
e processamento de informaes extremas as quais excedem a
capacidade das tecnologias de informaes tradicionais ao longo de uma
ou vrias dimenses. Big Data est focado principalmente em questes de
volume de conjunto de dados extremamente grandes gerados a partir de
prticas tecnolgicas, tais como mdia social, tecnologias operacionais,
acessos Internet e fontes de informaes distribudas. Big Data
essencialmente uma prtica que apresenta novas oportunidades de
negcios.
Gartner Group

Definies
O que Big Data?
A intensa utilizao de redes sociais online, de dispositivos mveis para
conexo Internet, transaes e contedos digitais e tambm o crescente
uso de computao em nvem tem gerado quantidades incalculveis de
dados. O termo Big Data refere-se a este conjunto de dados cujo
crescimento exponencial e cuja dimenso est alm da habilidade das
feramentas tpicas de capturar, gerenciar e analisar dados.
McKinsey Global Institute

Definies
O Que Big Data?
A intensa utilizao de redes sociais online, de dispositivos
mveis para conexo Internet, transaes e contedos
digitais e tambm o crescente uso de computao em nvem
tem gerado quantidades incalculveis de dados. O termo Big
Data refere-se a este conjunto de dados cujo crescimento
exponencial e cuja dimenso est alm da habilidade das
feramentas tpicas de capturar, gerenciar e analisar dados.
McKinsey Global Institute

Concluso
Conceitos fundamentais

Prxima aula
Fundamentos

Aula 1.2 Fundamentos

Nesta aula
Fundamentos

Fundamentos
O que Big Data?

Volume: petabytes de dados gerados a cada dia

Variedade: sistemas estruturados (hoje minoria) e nao estruturados
(a imensa maioria)
Velocidade: muitas vezes precisamos agir praticamente em tempo
real sobre este imenso volume de dados
Veracidade: precisamos ter certeza que os dados fazem sentido e
sao aute nticos
Valor: e absolutamente necessario qua a organizacao que
implementa projetos de Big Data obtenha retorno destes
investimentos

Fundamentos
Volume
Varivel extremamente subjetiva dada a rpida evoluo tecnolgica

para o armazenamento de dados

Decises devem ser baseadas em dados, no apenas em palpites

Viso 360 graus da empresa

Crescimento geomtrico da quantidade de dados armazenados
Sistemas

transacionais,

apresentaes etc

sensores,

cmeras,

mdias

sociais,

Fundamentos
Variedade
Dados textuais estruturados e semiestruturados

Dados textuais livres

Fotos
Vdeos
Postagens em redes sociais e blogs
Sistemas automatizados ligados na rede

Fundamentos
Velocidade
Acesso aos dados em tempo real
Minimizao da latncia da informao
Solicitaes no previstas
Modelo altamente flexvel

Fundamentos
Valor
Anlise dos dados deve gerar uma receita superior ao

investimento
A percepo a qualidade do servio prestado deve aumentar aos

olhos do cliente
O market share da empresa deve ser protegido pela iniciativa

Fundamentos

Veracidade
As concluses tiradas da extrapolao dos dados medidos devem ser
coerentes e se provarem
As fontes dos dados devem ser confiveis o suficiente para no
corrermos o risco de fazermos afirmaes incorretas

Fundamentos
Veracidade
As concluses tiradas da extrapolao dos dados medidos devem ser
coerentes e se provarem
As fontes dos dados devem ser confiveis o suficiente para no
corrermos o risco de fazermos afirmaes incorretas

Fundamentos
O que Big Data?
mais que um produto de software ou hardware

um conjunto de tecnologias, processos e prticas que permitem s

empresas analisar dados que antes no tinham acesso e tomar

decises, ou mesmo gerenciar atividades de forma muito mais

eficiente.

Concluso
Fundamentos

Prxima aula
Por que Big Data?

Aula 1.3 Por que Big Data?

Nesta aula
Por que Big Data?

Por que Big Data?

Por que Big Data?
Os dados j comeam a ser parte to importante da economia quanto o
o trabalho e o capital.
A criao de sistemas digitais de monitoramento, apoio na execuo de
tarefas gera quantidades vertiginosas de dados diariamente.
Migrao de um modelo baseado no capital e trabalho para um novo
modelo baseado na conjuno do capital, trabalho e dados.

Por que Big Data?

A pesquisa da Pew Internet
Graas s diversas mudanas tais como a construo da Internet das
Coisas, anlise de grandes data sets ir melhorar a inteligncia social,
poltica e econmica at 2020. O surgimento do Big Data ir permitir a
previso em tempo real de eventos e o desenvolvimento de softwares
de inferncia tornar possvel o reconhecimento de padres de dados e
a criao de de algoritmos de correlacionamentos que permitam um
novo entendimento do mundo.
No fim das contas, Big Data extremamente positiva para a sociedade
em quase todos os aspectos.

Por que Big Data?

A pesquisa da Pew Internet
Graas s diversas mudanas tais como a construo da Internet das
Coisas, anlise de grandes data sets ir causar mais problemas do que
solues at 2020. A existncia de datasets imensos para anlises daro
uma falsa confiana nos nossos poderes preditivos o que levar a muitos
erros grave na tomada de decises.
As anlises de Big Data sero mal utilizadas por pessoas e organizaes
poderosas para benefcio prprio e manipular as descobertas para o que
desejam.

Por que Big Data?

A pesquisa da Pew Internet

60

50
40
30

20
10
0
Positivo

Negativo

Por que Big Data?

A filosofia MAD

M: Magnetic atrao de dados sem a preocupao da

qualidade
A: Agile interpretao rpida dos dados
D: Deep anlise detalhada

Concluso
Por que Big Data?

Prxima aula
Cases de uso do Big Data

Aula 1.4 Cases de Uso do Big Data

Nesta aula
Cases de uso do Big Data

Aula 02 Por que Big Data?

Quem j tira proveito disso?
Google Flu Trends
Amazon: Analisa o perfil de compras e marcaes nos livros para
sugerir novos produtos e definir a experincia no site
Netflix: utiliza o padro de programas assistidos e os ratings marcardos
para sugerir novos contedos e at mesmo produzir contedos
especficos para os segmentos de assinantes
IBM Watson: sistema cognitivo que combina o processamento de
linguagem natural, machine learning e validao de hipteses para
desenvolver uma plataforma de desenvolvimento na nuvem

Aula 02 Por que Big Data?

Aula 02 Por que Big Data?

Aula 02 Por que Big Data?

Como o Big Data pode ser Explorado?
Do-it-yourself analytics
Cincias polticas: integrao de pesquisas oficiais com a repercusso
em posts, tweets e comentrios
Ferramentas automatizadas de coleta e visualizao de dados
Substituio das pesquisas de campo pelo comportamento das pessoas
nas redes sociais, e-commerces e pelo padro de navegao dos
usurios em portais de contedo

Aula 02 Por que Big Data?

Dificuldades na implantao de projetos de Big Data

Falta de estratgia bem definida

Preocupao exclusiva na compra de uma sute de produtos
para anlise de Big Data
Manuteno das antigas abordagens de explorao dos
dados disponveis
No realizar as mudanas organizacionais, tecnolgicas e
dos processos de negcio

Aula 02 Por que Big Data?

A Coleta de Dados
Foco no VOLUME e VARIEDADE
Sistemas transacionais
Comentrios em redes sociais
Sensores
Vdeos de segurana

Logs de servidores

Aula 02 Por que Big Data?

Integrao e Agregao
Tratamento dos dados de acordo com seu tipo ou formato
Definio de categorias de dados
Critrios de validao e aceitao

Aula 02 Por que Big Data?

Anlise

Interpretao dos terabytes (ou petabytes) de dados armazenados

Definio das perguntas a se fazer
Quais os padres ou correlaes podem gerar valor para o negcio?
Valorizao do Data Scientist

Cincia da Computao
Matemtica
Estatstica
Domnio do negcio

Visualizao
IBM ManyEyes e DataViva

Aula 02 Por que Big Data?

Infraestrutura
Grande capacidade computacional
Ambientes na nuvem mostram-se mais adequados
Paralelismo no processamento de tasks
Hadoop
MapReduce

Aula 02 Por que Big Data?

Privacidade
Um dos principais obstculos e perigos na implantao
quando se fala de Big Data
Vrios setores altamente regulados
Sade
Mercado financeiro
Cuidados com a pegada digital

Aula 02 Por que Big Data?

O Poder do Big Data
Gerao de valor por transformar a informao transparente
Criao e armazenamento mais dados transacionais em formato digital
Segmentao mais refinada dos clientes e oferta de produtos mais
precisos baseados em seu perfil
Anlises sofisticadas permitem melhorar substancialmente o processo
de tomada de deciso minimizando riscos
Desenvolvimento da prxima gerao de produtos e servios

Concluso
Cases de uso do Big Data

Prxima aula
Impactos do uso do Big Data nas Empresas e nos Governos