SSIS: Integrando datos entre diferentes sistemas

Salvador Ramos
webmaster@helpdna.net

Agenda

Familiarizndonos con Integration Services Seamos productivos y eficaces integrando datos

Qu es SSIS?

Una plataforma para ETL empresarial

Permite integracin entre bases de datos y ficheros Alto rentimiento Workflows Limpieza y depuracin de datos Text mining y Data mining

Qu podemos hacer con SSIS?

Importar/Exportar libros Excel, archivos de texto, CSV.

Enviarlos por mail

Integrar los pedidos de nuestra web con el ERP Exportar las facturas de clientes a la extranet Detectar cuando un cliente del CRM que est como
cliente potencial, hace la primera compra, reflejada en el ERP y cambiar su estado a cliente nuevo origen y un destino, en diversos formatos, con sus correspondientes transformaciones

Cualquier tarea en la que deban fluir datos entre un

Integrando datos mediante Cdigo

Mobile data

Warehouse

Reports

Integrando datos mediante SSIS

Text mining components

Data mining components

Mobile data

Custom source

Merges
Warehouse

Standard sources

Data cleansing components

Reports

SQL Server Integration Services

Carga mediante cdigo

XML
Warehouse 1

.txt

Carga mediante SSIS

Escalabilidad

Origen OLTP

Destino

Relacional SSIS
AdventureWorks Pruebas

SSIS
MSDB Configuracion AdventureWorks Pruebas

MSDB Configuracin

BIDS
SLN
PRJ PRJ
.PRJ

Parent Solution Folder

Project Subfolders

Project XML File Data Source XML File Data Source View XML File SSIS Package XML File

.DS

.DSV

.DTSX

DEMO

Un primer vistazo al entorno

DEMO

Transacciones

Control Flow & Data Flow

Data Flow

Control Flow
2009 Solid Quality Mentors

Control Flow & Data Flow

Data Flow Task

Control Flow elements

Containers Tasks Precedence constraints
Source and destination adapters Transformations Paths
Success Completion

Failure

Success & expression

SendMail Task Lookup GeoKey

Data Flow elements

Ok

Error

Merge Join

Control Flow Tasks

Data Flow Tasks

DEMO

Importando todos los Excel de una carpeta

DEMO

Analizando los datos (Data Profiling)

DEMO

Poblaciones correctas (Fuzzy Lookup)

BI - Herramientas y Componentes

CRM ERP

Otros

Informes de usuario Informes analticos

E.T.L. (SSIS)

data Warehouse *relacional*

(SSRS) Excel Sharepoint BI Portal, Performance Point 2007 Proclarity Otros

cubos (SSAS) OLAP

Modelo en Estrella

Configurando diferentes entornos

Configuraciones externas

Evitan editar el paquete ante cualquier cambio en el origen o destino Permiten cambiar el valor de las variables

SSIS Package Package SSIS Connection Connection 1 1= = XYZ XYZ Variable Variable 1 1= = XYZ XYZ

SSIS Package Connection 1 = ABC Connection 1 = ABC Variable 1 = ABC Variable 1 = ABC

Configuration

Estrategia de Configuracin

Configuracin

Paquete DTSX

Archivo .dtsconfig

SQL Server

Logging

SSIS logging providers

Text files SQL Server Profiler SQL Server Windows Event Log XML files

Logging (eventos)

DEMO

Configuracin y Logging

DEMO

Relanzando paquetes

Optimizando buffers

Streaming Bloqueo parcial Bloqueo

Reutiliza el Buffer Ejemplos: Data Convert, Derived Column, Lookup Copia los datos a un nuevo buffer Ejemplos: Pivot, Un-pivot, Merge, Merge Join, Union All Necesita todas las filas de entrada antes de continuar Copia datos a un nuevo buffer Ejemplos: Aggregate, Sort, Row Sampling, Fuzzy Grouping

SSIS Uso eficiente

Todas las transformaciones, limpiezas, clculos, joins,

etc, se hacen en el Data Flow

Optimizar lecturas en origen:

SELECT <Col1>,,<ColN> From <Tabla> Where <Slo las filas que necesito> [order by <Col1>,, <ColN>]

Optimizar escrituras en destino

SSIS Uso eficiente

SSIS Uso eficiente

Qu nos aporta SSIS?

Productividad

Qu nos aporta SSIS?

Facilita el mantenimiento

Qu nos aporta SSIS?

Logging (registro de actividad)

Qu nos aporta SSIS?

Diseamos desde Visual Studio

Qu nos aporta SSIS?

Rendimiento (datos en memoria)

Qu nos aporta SSIS?

Podemos ver los datos mientras fluyen

Integracin de Datos -> Herramientas ETL

Cuando la nica herramienta que posees es un

martillo, tiendes a ver todos tus problemas como si fueran un clavo. (Abraham Maslow)

Integracin de Datos -> Herramientas ETL

Sgueme en

http://SQLServerSi.com
http://helpdna.net http://CursoSQLServer.com http://youtube.com/sqlserversi http://blogs.solidq.com/BICorner

Estamos en contacto

https://mvp.support.microsoft.com/profile/salvador http://twitter.com/salvador_ramos http://www.linkedin.com/in/SalvadorRamos https://www.xing.com/profile/Salvador_Ramos http://facebook.com/SQLServerSi

webmaster@helpdna.net

Preguntas ?
Salvador Ramos webmaster@helpdna.net