Infraestructura de red

y servicios en el
CIPFP Mislata
Ramn Onrubia Prez
ronrubia@fpmislata.com
Situacin de partida
Modelo de red de centro de
Conselleria
Modelo simple y sencillo
de implantar en
INTERNET
cientos de centros

ROUTER Diseo plano: una subred para

ISP secretaria-direccin y
otra para aulas-departamentos

Problemas en aulas/departamentos:
SECRETARIA + AULAS +
DEPARTAMENTOS

Rendimiento
DIRECCION
Seguridad

Escalabilidad
Rendimiento
 Rendimiento
Broadcast/multicast

AULA 1 AULA 2 AULA N

GRAVE PROBLEMA EN CLONACIN MULTICAST DE AULAS!!!

POSIBLE SOLUCIN: ACTIVAR IGMP SNOOPING/STORM CONTROL
NO SOLUCIONA EXCESO DE BROADCAST P.EJ.: WORMS
SOLUCIN PTIMA: SEGMENTAR LA RED CON VLAN'S
 Rendimiento
Broadcast

En ausencia de switches gestionables con

spanning tree activado se produce
una tormenta de broadcast
inutilizando TODA LA RED

BUCLE EN CABLEADO!!!
 Seguridad
No hay segmentacin
INTERNET
Se pueden hacer ataques MITM:

Arp poison

ICMP Redirect/IRDP
ROUTER
Rogue DHCP/ACK Injection
ISP
DNS Spoofing/Site Spoofing

SSLStrip/WebMITM
No hay mecanismos de proteccin
DHCP ante ataques DHCP
starvation o rogue DHCP

DEPARTAMENTO
SALA PROF.
AULA

ATACANTE VICTIMA
 Necesidades y
propuestas de mejora en
el CIPFP Mislata
 Rendimiento de la
red Servicios de red
confiables

Plataforma
para proyectos Gestin wifi
Una solucin
unificada
quiero!!!

Seguridad Monitorizacin
informtica de red y servicios

Control de acceso
a Internet
 Rendimiento de la red

Problemas con broadcast/multicast

Crear dominios de broadcast reducidos

Aumentar BW interno a 1GE/puesto

Problema Netsplit segmentos aislados

Aumentar disponibilidad
Servicios de red confiables

Servicios crticos: DHCP, DNS, Proxy, RADIUS, etc

Tolerancia a fallos

Servicios en cluster de HA

Modo activo/pasivo un servicio est en standby

esperando que falle en el nodo principal
 Gestin wifi unificada
Problema wifi heterognea, difcil gestin

Configuracin centralizada con controlador

Soporte de mltiple SSID por AP

Acceso con WPA2 Enterprise con RADIUS

Deteccin de rogue AP's

Mejora del roaming BSSID virtual

Monitorizacin red y servicios

Generar estadsticas de uso

Monitorizar cadas en servicios

Generar alertas ante fallos

Diagnstico de fallos y deteccin de

problemas de rendimiento
Control de acceso a Internet

No exista control en el aula por el profesor

Desarrollar aplicacin intuitiva para profesorado

Interfaz web multiplataforma

Bloquear aplicaciones de tneles para saltar

filtros de contenidos (Ultrasurf, Tor, etc)
 Seguridad informtica

Separar los segmentos de red (VLAN) con seguridad

perimetral

Evitar o detectar ataques MITM

Generar alertas ante ataques

Evitar suplantaciones DHCP

Plataforma para proyectos de alumnos

Infraestructura de virtualizacin para

proyectos de alumnos

Optimizacin del uso de recursos

compartidos

Ubicuidad: accesible desde Internet

Infraestructura de red
 Segmentacin en VLAN's
INTERNET

Segmentacin en VLAN's con
asignacin de subredes a partir
de 172.16.0.0/16
ROUTER
Dominios de broadcast reducidos
ISP

Contencin de broadcast
(STORM control)
ROUTER ROUTER
35 VLAN/subredes actualmente
INTERNO 1 INTERNO 2
ROUTER

Dos routers intermedios con NAT
VIRTUAL en alta disponibilidad (VRRP)
VRRP
Balanceo esttico de VLAN's

VLAN de ToIP en alta prioridad

Conmutadores de GE con
VLAN VLAN VLAN VLAN VLAN VLAN
AULA 1 AULA N DEPART. WIFI ALUMN.WIFI PROF. ToIP enlaces LACP en alta
disponibilidad + RSTP + 802.1Q
 Enlaces IDF con MDF
IDF: Rack intermedio
MDF: Rack principal

CORE (MDF)
No se han representado todos
los racks por simplificar

Los enlaces entre switches en
los racks intermedios con el
core de la red se hace con
agregacin de puertos (LACP
802.3ad)

Las tramas se van
RACK RACK RACK RACK RACK balanceando por los miembros
1B DEPARTAM. OPTICA/SA 1A6 1A4 del LAG

Aumenta BW disponible y la
disponibilidad ante fallo de un
cable o puerto
RACK
TURISMO/BIBLIO
Wifi Unificada
 Situacin de partida
Extended Service Set (ESS)

AP's standalone, con

configuracin distribuida e
independiente

Cada AP de distintos
fabricantes

Dificultad de gestin con

muchos AP's

No hay integracin en el
funcionamiento ni en la gestin
de los AP

Problemas para crear varios

SSID

No hay deteccin de rogue

AP's, virtual BSSID, etc
 Wifi Unificada

AP's ligeros, con configuracin

centralizada y gobernados por UNIFI
controlador CONTROLLER

Fabricante Ubiquity, UAP LR

Calidad/precio muy buena

Alimentados por Ethernet (PoE)

Facilidad de gestin y
escalabilidad

Despliegue de configuracin a 802.1Q 802.1Q 802.1Q

+ PoE + PoE + PoE
cientos o miles de AP's

Mltiple SSID VLAN por

SSID

Ajuste automtico de canales

Deteccin de rogue AP's, virtual

BSSID, Zero Handoff, etc AP 1 AP 2 AP N
Virtual BSSID o Virtual Cell

BSSID 2

Con la versin 3.X.X del

firmware

En vez de varios AP con BSSID 1 BSSID 3

diferentes BSSID, la red se
presenta al cliente como un
gran AP con un slo BSSID y
un gran radio de cobertura
Celda Virtual

Ventaja: no hay roaming

Zero Handoff

No hay cortes en sesiones VoIP,

descargas, etc BSSID
VIRTUAL
Controlador Wifi - Mapa
Controlador Wifi - Cobertura
Controlador Wifi AP's
Controlador Wifi Rendimiento
Deteccin Rogue AP's
Controlador Wifi Usuarios
Controlador Wifi Estadsticas
Controlador Wifi Alertas
Controlador Wifi Notificaciones
 Redes Wifi independientes
rosa_dels_vents fpMislata

Red abierta con portal
Protegida con WPA2
cautivo Enterprise

Acceso con cuentas del
Acceso con cuentas del
centro (Moodle) centro (Moodle)

Acceso solo a Internet
Acceso a todos los

Slo para alumnos e recursos
invitados
Slo para profesores

rosa_dels_vents RADIUS

fpMislata

PORTAL
CAUTIVO
 Portal cautivo
rosa_dels_vents
Sistema para el control de acceso a
la wifi del centro
Desarrollado ntegramente en el
CIPFP Mislata con software libre
Es un sistema como el implantado
en hotspots en cafeteras, hoteles,
aeropuertos, etc ROUTER
INTERNO
El usuario se identifica de forma
sencilla a travs un portal web, sin OK PORTAL
CAUTIVO
necesidad de hacer complicadas
ACCESO A
configuraciones en la tarjeta LA RED
inalmbrica
Sistema de autenticacin contra
RADIUS y la BBDD usuarios del
centro
LAN DELCENTRO
Funciona en alta disponibilidad entre
los dos servidores del centro

RADIUS
Portal cautivo - login
Cluster HA de servicios
 Arquitectura fsica actual
INTERNET

ROUTER
INTERNET

NODO 1 NODO 2
(ANDREW) (KATRINA)
COMUNICACIN CLUSTER

CORE 1 CORE 2

VLAN A VLAN B VLAN C VLAN D VLAN E VLAN F VLAN G VLAN H VLAN I VLAN J
 Arquitectura fsica futura
INTERNET
Eliminacin de puntos de fallo

Necesidad de MSTP
ROUTER
INTERNET

NODO 1 NODO 2
(ANDREW) (KATRINA)
COMUNICACIN CLUSTER

CORE 1 CORE 2

VLAN A VLAN B VLAN C VLAN D VLAN E VLAN F VLAN G VLAN H VLAN I VLAN J
 Servicios

Ambos servidores ofrecen servicios en alta disponibilidad

(HA) tanto a aulas como a departamentos, haciendo un
reparto de servicios inicial entre ambos

Los dos servidores funcionan en cluster activo-pasivo:

ambos funcionan como un nico servidor mejorando la
disponibilidad del conjunto:

Si un servicio falla en un servidor, el otro asume el servicio
fallado

Si un servidor entero falla o se apaga el otro asume todas
las funciones
Servicios en HA
DHCP
ROUTING
y PROXY

DNS y NTP

GAIA CLUSTER

RADIUS

CENTRALITA IP

VIRTUALIZACION
 Fallo de un servicio
Vaya! Ha fallado mi
servicio A y no
Odo cocinaaa!
SERVICIO A SERVICIO B puedeLevanto
arrancar.el servicio A E
SERVICIO SERVICIO F
Aviso a mi compaero

SERVICIO A
NODO 1 NODO 2
Por favor, arranca el servicio A
(ANDREW) (KATRINA)
para continuar dando servicio

SERVICIO C SERVICIO G
SERVICIO D
SERVICIO H

AULAS DEPARTAMENTOS
 Fallo de un servidor
Vaya! Parece no hay
nadie. Asumir SERVICIO F
SERVICIO A SERVICIO B SERVICIO E
todos sus servicios
SERVICIO D
SERVICIO A

NODO 1 NODO 2
(ANDREW) Sigues ah, compaero? (KATRINA)
SERVICIO B

SERVICIO G
SERVICIO C
SERVICIO D

SERVICIO H
SERVICIO C

AULAS DEPARTAMENTOS
 Virtualizacin
iSCSI LUN's
(VM's) MORDOR
(Synology RS814)
STORAGE NETWORK
2 IS
CS
FS
G +
SI+ G
FS
C 2
IS
NODO 1
NODO 2
(ANDREW)
(KATRINA)

VM1 VM2 VM1 VM2 VM3

Software utilizado
CentOS 6.5: S.O. compatible binariamente con RHEL
Keepalived: paquete para implementar VRRP y LVS
(balanceadores) permite llevar seguimiento de fallos de
interfaces y servicios en el cluster y actuar en consecuencia
Csync2: paquete para mantener archivos sincronizados en
un cluster. Es un rsync para clusters
GFS2 y CMAN: gestin de los sistemas de archivos en
cluster, montados por ambos con iSCSI
VirtualBox y KVM: virtualizacin. Actualmente Vbox pero en
un futuro nicamente KVM para live migration de VM's entre
nodos almacenadas en iSCSI
Seguridad
Seguridad perimetral

Poltica restrictiva en las aulas: slo se permite el
trfico y aplicaciones explcitamente habilitados

Se utiliza iptables en un archivo de configuracin
sincronizado en el cluster

Seguimiento de conexiones: utilizacin de conntrackd
para sincronizar seguimiento de conexiones en el cluster

TODO: implantar un NIDS (Suricata) o HIDS (OSSEC)
para deteccin de ataques internos
Envenenamiento ARP
Deteccin ARP poison

ARP poison es la base de muchos ataques MITM

Disponible en muchas herramientas al alcance de cualquiera
sin ser experto hemos sufrido ataques de este tipo en el
centro (ARP Poison, DNS Spoofing, Site spoofing)

Se detecta con el software arpalert instalado en el cluster

Genera BBDD de asociaciones MAC-IP y ante cambios
reacciona como se le indique

En nuestro caso generamos alerta por email

TODO: implementar ARP inspection en los conmutadores
del centro prxima actualizacin del firmware
Alerta ARP poison
Bloqueo de tneles

Existen multitud de herramientas para realizar tneles

SSL/TLS para navegar sin restricciones saltndose los
filtros de contenidos de Conselleria: Ultrasurf, Tor,
SoftEther, stunnel, etc

No es necesario ser un experto, algunas de ellas no se

instalan (ultrasurf)

Se estudi su comportamiento con analizador de redes

Patrn comn: conexiones 443/tcp a IP (no usan

nombre dns)
Posibles soluciones

Listas negras de IP's cambian constantemente

Lista blanca de IP's inviable

Inspeccin HTTPS requiere muchos recursos para

cifrado/descifrado, generacin de falsos certificados al
vuelo y es un MITM que debe ser consentido por el
usuario (derecho fundamental Constitucin: secreto
comunicaciones)

Solucin adoptada forzar a usar proxy explcito para

todo. El proxy deniega conexiones CONNECT 443 a IP
 Proxy explcito

PROS CONTRAS

Se fuerza a que las peticiones

Todas las aplicaciones deben
https pasen por el proxy, inviable soportar proxy explcito si no
con proxy transparente soportan, se deshabilita

Se guarda en los logs los accesos temporalmente en el aula con

https (ip origen, destino, bytes G.A.I.A.
transferidos, etc)
Configuracin manual de proxy

Menos recursos que https en equipos solucin:

inspection el proxy no descubrimiento automtico
cifra/descifra el trfico (WPAD)

Respetamos los derechos

Si cae el proxy, no funciona https
fundamentales al no interceptar solucin: proxy en HA en el
trfico cifrado cluster
 Proteccin DHCP

Para evitar ataques intencionados o no, es necesario

proteger la red de servidores DHCP no legtimos (Rogue
DHCP)

P.ej: tpico problema de realizacin de prcticas DHCP

en la red del aula deben realizarse en redes
virtualizadas host-only

Cisco DHCP Snooping

DLINK, Netgear DHCP Server Screening

En ambas soluciones se marcan los puertos a los que se

conectan el servidor o servidores DHCP legtimos de la
red como confiables y el resto no confiables
G.A.I.A.
 G.A.I.A.

Sistema para la Gestin del Acceso a Internet en Aulas

Desarrollado ntegramente en el CIPFP Mislata con software

libre (coste cero)

Permite a un profesor desde cualquier ordenador del centro

controlar el acceso a Internet de un aula

Se accede fcilmente desde el navegador: http://gaia

Sistema de identificacin integrado con Moodle: el profesor

se identifica con el usuario y contrasea de Moodle no es
necesario aprender un usuario y contrasea nuevos
 G.A.I.A.

El ordenador del profesor siempre tiene acceso a Internet, no le afecta

el estado del aula

Queda registrado en el panel de la aplicacin, la ltima persona que

ha modificado el estado de un aula, desde donde y a qu hora

GAIA funciona en alta disponibilidad el estado de las aulas se

sincroniza entre ambos servidores del centro

Permite al profesor:

Abrir Internet (con las restricciones de Conselleria)

Cortar Internet

Dejar acceso slo al Moodle cortando el resto

Dejar acceso a los dominios que el profesor decida: p.ej. un
peridico online, la wikipedia, el servef, etc

Permitir el proxy transparente para aplicaciones que no soportan
proxy
G.A.I.A. - login
G.A.I.A. - panel de control
Alternativas a GAIA

En muchos centros, el profesor que quiere cortar Internet tiene
que usar mtodos fsicos:

apagar el cuadro elctrico del aula nadie puede usar el
ordenador

apagar el switch del aula nadie puede usar la red local ni
Internet

desconectar el cable de red del switch nadie puede usar
Internet

GAIA gestiona el acceso a Internet del aula de forma lgica, no
fsica

Las alternativas basadas en un servidor de aula que controla el
acceso a Internet presentan un punto de fallo en ese equipo
GAIA es centralizado y en HA y permite cualquier diseo de
red fsico
Monitorizacin
Necesidades monitorizacin

Generar estadsticas de uso

Monitorizar cadas en servicios

Generar alertas ante fallos

Diagnstico de fallos y deteccin de

problemas de rendimiento
 NAGIOS Core
Estandar de facto en monitorizacin TIC

Software libre bajo licencia GPLv2

Existen varias licencias, incluyendo comercial (Nagios XI)

Monitoriza servicios de red as como servidores, impresoras,

infraestructura de red, etc

Genera informes y alertas ante fallos

Alternativas: Icinga (fork), Shinken, PandoraFMS, Zabbix, etc

Sistemas monitorizados
Infraestructura:

Conmutadores

Routers (Macrolan, internos)

AP's (monitorizados tambin por Unifi Controller)

Servicios:

Internos (proxy, dhcp, dns, ntp, radius, gaia, asterisk, etc)

Externos (dns conselleria, web del centro, servidor proyectos)

Hosts: Servidores fsicos y virtualizados, NAS e impresoras

NAGIOS - Mapa
NAGIOS Tactical Overview
NAGIOS Service Detail
NAGIOS Reports
NAGIOS Availability Report
NAGIOS Alertas
 CACTI

Software libre bajo licencia GPL

Es un frontend web de RRDTool, para generar grficos con datos y

estadsticas de red

Utiliza RRDTool, estndar para almacenar datos de grficas

Muestra datos diarios, semanales, mensuales y anuales

Utiliza SNMP, para interrogar a los dispositivos monitorizados y

obtener datos (trfico de red, CPU, disco, memoria, procesos, etc)

Es intuitivo de usar, con mltiples plantillas de dispositivos

CACTI Tree Mode
CACTI Trfico de aulas
CACTI Servidores
 Plataforma para
proyectos de alumnos
Requisitos de la plataforma

Software fiable

Soporte H.A. Mnimo coste

Accesibilidad remota Amplio soporte de SO's

PROXMOX VE
Porqu PROXMOX VE?

Solucin libre (AGPLv3) para virtualizacin

Basado en Debian 6 (Squeeze)

Soporta virtualizacin completa con KVM

Soporta VPS con contenedores Openvz

Poderosa interfaz web

Estable, fiable y seguro

Muy implantado en entornos profesionales

 Virtual Machines
Las VM son una tecnologa conocida por todos utiliza
full virtualization
Todos los dispositivos son emulados
Soporta cualquier SO invitado sin modificacin, pero
reserva toda la RAM asignada
PROXMOX utiliza KVM como tecnologa de virtualizacin
completa
KVM (Kernel-based Virtual Machine) est integrada en el
kernel Linux (kmv.ko) desde la versin 2.6.20
Utiliza una variante de QEMU como frontend
 Containers
Los VPS (Virtual Private Server), VE (Virtual Environment) o
Contenedores son una tecnologa habitual en los hostings
Utiliza virtualizacin de SO, de forma que todas los VPS
comparten el kernel, mdulos del kernel, etc eficiencia en el uso
de recursos
PROXMOX utiliza OpenVZ, que permite a un servidor fsico correr
mltiples instancias de un SO (en este caso, GNU/Linux)
Todos los VPS usan por tanto el mismo kernel pero pueden ser
distribuciones diferentes (debian, fedora, red hat, ubuntu, centos,
etc)
Un VPS puesto en marcha puede ocupar inicialmente entre 20 o 30
MB de RAM podemos tener decenas o cientos de VPS en
marcha!
VM's vs Containers
VM VPS
Virtualizacin completa Virtualizacin de SO

Cualquier SO Mismo kernel que anfitrin

Con 4GB: pocos VM (3 4) Decenas o cientos de servidores

Peor rendimiento Mejor rendimiento

No hay paravirtualizacin Soporta dispositivos paravirtualizados

Virtuozzo, OpenVZ, BSD jails, Solaris

VMWare, VirtualBox, KVM, etc
zones, etc
Servidor dedicado
PROXMOX VE se encuentra instalado en un servidor externo
dedicado contratado con un proveedor de hosting
Permite que los alumnos accedan desde casa a sus proyectos
Caractersticas servidor dedicado:
S.O. Debian 6.0.7 + PROXMOX VE 2.3
16 GB de RAM
Intel QuadCore i5-2400 CPU @ 3.10GHz
RAID 1 de 2TB (2TB+ 2TB)
Conexin a Internet de 100 Mbps SIMTRICA
Trfico ilimitado
PROXMOX Panel de control
Panel de control
Gestin de VM's y contenedores
Gestin de almacenamiento local y externo (S.A.N,
N.A.S)
Gestin del cluster y HA
Gestin del networking virtual
Migracin en vivo de VM's y contenedores entre
servidores fsicos
Gestin de usuarios, roles y permisos a las VM's y
contenedores
Consola remota va Java
Acceso panel de control

Desde un navegador web con soporte Java

Autenticacin PAM sobre RADIUS
Se utilizan las credenciales de Moodle
Cada alumno pertenece a un grupo de proyecto con
acceso slo a sus VM y contenedores
Los profesores estn en un grupo con permiso total a
las VM y contenedores de alumnos
Arquitectura de red
ROUTER
PROVEEDOR
INTERNET

SERVIDOR
DEDICADO
(ANFITRIN)
Red privada 192.168.59.0/24

VPS 1 VPS 2 VPS 3 VPS N

Funciones de red del anfitrin

Puerta de enlace para las VM

NAT (Traduccin de direcciones)
Servidor DNS
Cortafuegos + IDS/IPS (OSSEC)
Concentrador VPN
Proxy inverso HTTP, HTTPS y FTP
 Caractersticas IDS/IPS

OSSEC HIDS licencia GPLv2

Funciona en muchas plataformas
Detecta ataques de red conocidos mediante patrones
Detecta anomalas (excesivos puertos abiertos, errores
de aplicaciones en logs, etc)
Detecta rootkits
Verifica integridad de archivos as como cambio en
permisos
Antes posibles ataques DDoS o excesivos errores en
aplicaciones, banea la direccin del presunto atacante
Alertas OSSEC
Alertas OSSEC
Alertas OSSEC
Alertas OSSEC
Alerta OSSEC - DoS
Acceso a los servicios

Servicios que ofrecen los VPS de los proyectos: HTTP,

HTTPS y FTP
Posible solucin: redirigir puertos en el anfitrin
Problema: una sola IP pblica para todos slo se
puede redirigir un puerto
Solucin cara: contratar un rango IP pblico a RIPE y
hacer NAT esttico
Solucin elegida: proxy inverso para los servicios
indicados
 Proxy inverso

Uso contrario al habitual: para entrar desde Internet en

vez de para salir hacia Internet
Caractersticas:
Seguridad: protege a los servidores
Aceleracin SSL: puede liberar a los servidores del
cifrado/descifrado SSL/TLS
Balanceo de carga entre servidores
Cach de contenido esttico
Funcionamiento proxy inverso

1
Peticin dominio 3
2

SERVIDOR
DEDICADO
(ANFITRION)
1 2
ver
er
r

we
e
bs
rv

b
we
se

se
b

rv
we

e
r3

VPS 1 VPS 2 VPS 3 VPS N

Administracin de servidores
Consola Java
 Acceso por VPN
ROUTER
PROVEEDOR
INTERNET

10.59.29.X
Autenticacin OK
Inicio sesin VPN
IP: 10.59.29.X
Ruta: 192.168.59.0/24 dev tun0
Red vpn-clients
acce10.59.29.0/24 tnel cifrado
so SERVIDOR
DEDICADO
Red host-only 192.168.59.0/24 (ANFITRION)
ALUMNO
EN CASA

VPS 1 VPS 2 VPS 3 VPS N

Conclusiones
Muchas gracias por la
atencin