ISO/IEC/IEEE 29119

El nuevo estndar
internacional para pruebas
de software
Grupo de trabajo
AEN/CTN 71/SC7/GT26 Ingeniera del Software y
Sistemas de Informacin Pruebas del Software
http://in2test.lsi.uniovi.es/gt26/
Madrid, 18 de Junio de 2014

Grupo de Trabajo
AEN/CTN71/SC7/GT26 Pruebas de Software
Javier Tuya
Universidad de Oviedo
(coordinador del GT26)

Celestina
Bianco

Ramn Lema
Juan M. Valera
Clara Garca

Manuel Fdez.
Lidia Cruz
M Jos Escalona
Isabel Ramos

Ewout van Driel

Serial Testers
Jos Maran
Awnaba Software

Xavier
Escudero

Total: 18 miembros, 12 organizaciones diferentes

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

ISO/AENOR Estructura de
Comits y Grupos de trabajo

ISO/IEC & Organismos

nacionales

Comits ISO y Grupos de

Trabajo:

ISO

IEC
JTC1

SC7
WG26

AEN/CTN 71/SC7/GT26 - AENOR

ISO: International Organization

for Standarization
JTC1: Tecnologa de la
Informacin
SC7: Ingeniera de Software y
Sistemas
WG26: Pruebas de software

AENOR
CTN71
SC7
GT26

Organismos nacionales (ES)

AENOR: Asociacin Espaola

de Normalizacin y Certificacin
GT26: Pruebas del Software
http://in2test.lsi.uniovi.es/gt26/

ISO/IEC/IEEE 29119 Pruebas de software

Contenidos

Estndares para pruebas y problemtica

Elaboracin y estructura de ISO/IEC/IEEE
29119 Software Testing
Parte 1 Conceptos y definiciones
Parte 2 Modelo de procesos de pruebas
Parte 3 Documentacin de pruebas
Parte 4 Tcnicas de prueba
Estado actual, futuro y conclusin

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

Para qu un estndar para

Pruebas de software?

Cuerpo de conocimiento como base

para esta disciplina profesional

Cliente:

Alto grado de acuerdo internacional

Adaptable (Tayloring)
Confianza en el proveedor
Benchmark para buena prctica industrial
Vinculacin contractual

Proveedor:

Comunicacin terminologa comn

Certificacin/Acreditacin, marketing
Cualificacin professional, formacin
Mejora continua, Interoperabilidad, consistencia

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

Qu estndares para Pruebas

de Software podramos usar?

Estndares BSI

Estndares IEEE testing:

IEEE Std 829, Software Test Documentation

IEEE Std 1008, Software Unit Testing

Estndares sectoriales
Cuerpo de conocimiento y metodologas, p.e.

BS 7925-1, SW Testing: Part 1-Vocabulary

BS 7925-2, SW Testing: Part 2-Software Component Testing

ISTQB
TMap Next

Otros estndares de tipo general: ISO/IEC 12207, 15289

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

Qu problemas plantean
algunos de estos estndares?

IEEE & BSI Standards

Aspectos clave sin cubrir para un estndar de propsito

general:

IEEE 829: documentacin (proceso implcito)

IEEE 1008: pruebas unitarias
BS 7925-1 & 2: pruebas unitarias

Pruebas no unitarias (integracin, sistema, aceptacin)

Modelo de procesos explctio
Aspectos organizativos y gestin del proyecto. Riesgos
Visin ms completa de tcnicas de prueba

Definiciones en conflicto, procesos y procedimientos

Qu estndar seguir?

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

ISO/IEC/IEEE 29119 Software

Testing - Inicio

Propuesta de proyecto 29119 de ISO: Feb 2007

This project will produce a software testing
standard applicable to all types of software products
and software-intensive systems
Propsito: to unify and integrate the currently
fragmented corpus of normative literature regarding
testing that is currently offered by three distinct
standards-makers: BSI, IEEE, and ISO/IEC JTC 1/SC
7. The result of the project will be a consistent, unified
treatment adopted by all three organizations
Cuatro partes (Conceptos, procesos,
documentacin, diseo de pruebas)
Alcance:

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

ISO/IEC/IEEE 29119 Software

Testing - Estructura
Parte 1

Conceptos y Definiciones

BS 7925-1

Parte 4

Parte 2

Parte 3

Tcnicas de
Prueba

Procesos

Documentacin

BS 7925-2
Parte 5
Pruebas
Dirigidas por
Palabras Clave

IEEE 829
ISO/IEC 33063

Parte 6

Evaluacin de
Procesos

Tcnicas de
Pruebas
Estticas

IEEE 1028

ISO/IEC/IEEE 29119 - Elaboracin

Working Draft (WD)
Committee Draft (CD)
Draft International Standard (DIS)
Final Draft International Standard (FDIS)
International Standard

CD1

WD

WD

May
10

CD2

CD1

Partes 1, 2 & 3
Parte 4
Parte 5

CD3

CD2

DIS

CD3

FDIS

DIS1
WD

May
11

May
12

ISO/IEC/IEEE 29119 Pruebas de software

May
13

DIS2

FDIS

CD
May
14

Parte 1 Conceptos y Definiciones

Trminos y definiciones

prueba esttica y dinmica, base de prueba, tipo de prueba,

subproceso de prueba

Conceptos sobre pruebas de software:

Las pruebas de software en las organizaciones

Los procesos de prueba en los ciclos de vidas (visin
general)
Pruebas basadas en riesgos
Subprocesos de prueba
Estrategias de prueba
Automatizacin de las pruebas
Problemas en la gestin

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

11

Parte 1 Conceptos y Definiciones

Anexos:

ANEXO A. El papel de las pruebas en la verificacin y la

validacin
ANEXO B. Mtricas
ANEXO C. Pruebas en diferentes modelos de ciclo de vida
(Desarrollo gil, Desarrollo secuencial, Desarrollo evolutivo)
ANEXO D. Ejemplos de subprocesos de prueba detallados
(Aceptacin, Desarrollo, Integracin, Personalizacin, Regresin, etc.)

ANEXO E. Roles y responsabilidades en el testing

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

12

Parte 2 - Modelo de Procesos

de pruebas
Procesos de prueba de la organizacin

Procesos de gestin de las pruebas

Planificacin

Control y
seguimiento

Finalizacin

Procesos de pruebas dinmicas

Diseo e
Implement.

AEN/CTN 71/SC7/GT26 - AENOR

Gestin del
entorno

Ejecucin

ISO/IEC/IEEE 29119 Pruebas de software

Reporte de
incidencias
13

P2 Especificacin pruebas
de la organizacin
Especificacin de pruebas de la organizacin
Poltica de pruebas

Estrategia(s) de
pruebas

Objetivos
Alcance
Organizacin
Principios gobernantes

Procesos
Responsables
Productos
Tcnicas
Herramientas

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

14

P2 Procesos de Gestin
Procesos de Pruebas de la Organizacin
Poltica
y estrategia de pruebas

Realimentacin para la poltica

y estrategia de pruebas

Procesos de Gestin de pruebas

Actualizaciones del
Plan
Plan

Planificacin

Control y
seguimiento

Plan, Informe del estado

Informe de finalizacin,
Mtricas

Plan, Directrices
de Control

Procesos de
Gestin de Pruebas
Plan, Directrices
de Control

Informe de
Finalizacin

Resultados

Finalizacin

Plan, Directrices
de Control

Mtricas

Procesos de Pruebas
Dinmicas

Mtricas

Procesos de Pruebas
Dinmicas
AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

15

P2 Aplicacin recursiva
de procesos - Ejemplo
Gestin de las pruebas
de la organizacin
Poltica de pruebas
Estrategia de pruebas de la organizacin

Gestin de las pruebas

del proyecto
Plan de pruebas del proyecto

Gestin de
pruebas
estticas
P.d.P.
estticas

Pruebas
estticas

Gestin de
pruebas
de sistema
P.d.P.
de sistema

Gestin de
pruebas
de usabilidad
P.d.P.
de usabilidad

Pruebas
de sistema

Gestin de
pruebas
de aceptacin

...

P.d.P.
de aceptacin

Pruebas
de usabilidad

Pruebas
de aceptacin

...

Pruebas estticas (revisiones, anlisis esttico): cubierto por otras normas, p.e. IEEE 1012, 1028

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

16

P2 Procesos de Gestin
Alcance

Entender el
Contexto (TP1)

Calendario del plan de pruebas

Organizar el
Plan de
Pruebas (TP2)

Identificar y
Analizar
Riesgos (TP3)

Anlisis de
Riesgos

Identificar las
mitigaciones
de riesgos (TP4)

Planificacin

Plan de
Pruebas

Consenso del
plan de pruebas
(TP8)
Comunicar
Plan de
Pruebas (TP9)

Registrar el
Plan de
Pruebas (TP7)

Determinar
personal y
calendario (TP6)

Enfoque de Mitigacin

Disear la
Estrategia de
Pruebas (TP5)

Estrategia de Prueba

Calendario y
Perfil del Personal

Borrador Plan
de Pruebas

Aprobacin Plan
de Pruebas

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

17

P2 Procesos de Gestin
Alcance

Entender el
Contexto (TP1)

Calendario del plan de pruebas

Organizar el
Plan de
Pruebas (TP2)

Identificar y
Analizar
Riesgos (TP3)

Planificacin

Plan de
Pruebas

Consenso del
plan de pruebas
(TP8)
Comunicar
Plan de
Pruebas (TP9)

Registrar el
Plan de
Pruebas (TP7)

Anlisis de
Riesgos

Identificar
mitigacin
de riesgos (TP4)
Determinar
personal y
calendario (TP6)

Enfoque de
Mitigacin

Disear la
Estrategia de
Pruebas (TP5)
Estrategia de
Prueba

Calendario y
Perfil del Personal

Borrador Plan
de Pruebas

Aprobacin Plan
de Pruebas

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

18

P2 Procesos de Gestin
Seguimiento y
Control

Informe del estado de las pruebas

Progreso
Plan

Reporte
(TMC4)

Control

Preparacin Mtricas Monitorizacin

(TMC1)
(TMC2)
Progreso

Control
(TMC3)

[Pruebas
Completas]

Directrices
de Control

Mtricas

Procesos
de Pruebas
Dinmicas

[Pruebas Incompletas]

Procesos de Pruebas
<<Instanciado>>
<<Instanciado>>

Procesos de
Gestin de Pruebas
AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

19

P2 Procesos de Gestin
Archivar
Activos
(TC1)
Limpiar
Entorno
(TC2)

Entorno disponible

Lecciones
Aprendidas
(TC3)

Finalizacin

AEN/CTN 71/SC7/GT26 - AENOR

Lecciones Aprendidas

Informar
Finalizacin
(TC4)

ISO/IEC/IEEE 29119 Pruebas de software

Informe Finalizacin

20

P2 Procesos de Pruebas
Dinmicas
Procesos de Gestin de pruebas
Plan de Pruebas

Mtricas

Directrices de Control

Procesos de Pruebas Dinmicas

Diseo e
implementacin
de pruebas
Requisitos
del
entorno de
pruebas

[Sin
incidencias]

Ejecucin de pruebas
[Incidencia
detectada
O Repetir
prueba]

Preparacin y
mantenimiento
del entorno de pruebas

AEN/CTN 71/SC7/GT26 - AENOR

Resultados
de pruebas

Especificacin
de pruebas

Informe de entorno
de pruebas
disponible

ISO/IEC/IEEE 29119 Pruebas de software

Informe
de
incidencia

Informe de
incidencias
en pruebas
21

P2 Procesos de Pruebas
Dinmicas
Identificar juegos de Juegos de caractersticas
caractersticas (TD1)

Diseo e Implementacin

Derivar condiciones Condiciones de prueba (test conditions)

de prueba (TD2)

Derivar elementos de
cobertura de prueba (TD3)

Elementos de cobertura de prueba

(test coverage tems)

Derivar casos
de prueba (TD4)

Casos de prueba

Ensamblar conjuntos Conjuntos de pruebas

de pruebas (TD5)
Procedimientos y
Base de pruebas
(Test basis)

scripts de
Derivar procedimientos prueba

de prueba (TD6)
AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

22

P2 Procesos de Pruebas
Dinmicas
Identificar juegos de Juegos de caractersticas
caractersticas (TD1)

Diseo e Implementacin

Derivar condiciones Condiciones de prueba (test conditions)

de prueba (TD2)
Derivar elementos de
cobertura de prueba (TD3)

Elementos de cobertura de
prueba (test coverage tems)

Derivar casos Casos de prueba

de prueba (TD4)
Ensamblar conjuntos Conjuntos de pruebas
de pruebas (TD5)
Procedimientos y
Base de pruebas
(Test basis)

scripts de
Derivar procedimientos prueba

de prueba (TD6)
AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

23

Parte 3 Documentacin

Define plantillas que pueden ser utilizadas para generar

documentacin (information items) producto de los
procesos de la parte 2

Ejemplos (Anexos C a S). Versiones diferentes para

proyectos giles y tradicionales, p.e.

Diferentes formas: registro electrnico, dividido, combinado

Conformidad adaptada: segn procesos de P2 o segn
necesidades de proyecto/organizacin.

Polticas y estrategias de la organizacin

Plan de pruebas e informes de estado
Especificaciones de pruebas, entorno y datos

Mapeo a otros estndares (Anexo T):

IEEE 829:2008, BS 7925-2 1998

ISO/IEC 15289, ISO/IEC 25051:2006

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

24

Parte 4 Tcnicas para el diseo

de las pruebas

Conformidad

Tcnicas para el diseo de las pruebas

Total: Subconjunto elegido de tcnicas

Adaptada: Subconjunto de requisitos. Nuevas Tcnicas
Basadas en las especificaciones
Basadas en la estructura
Basada en la experiencia

Medidas de cobertura
Anexos

Anexo A. Caractersticas de calidad

Anexo B, C y D. Guas y ejemplos de aplicacin de las
diferentes tcnicas de diseo
Anexo E. Efectividad en el clculo de la cobertura

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

25

P4 Clasificacin de las tcnicas de

diseo de las pruebas
Particiones de clases de equivalencia
Mtodo de rboles de clasificaciones

Basadas en las
especificaciones

Anlisis de valores lmite

Pruebas de sintaxis
Pruebas combinatorias
All Combinations Testing / todas las combinaciones
Pair-wise testing / todas las parejas
Base choice testing / seleccin de la base ms probable
Each choice testing / seleccin de cada opcin
Tablas de decisiones
Anlisis de causas y efectos

Pruebas de transiciones de estados

Pruebas de escenarios
Pruebas de casos de uso

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

26

P4 Clasificacin de las tcnicas de

diseo de las pruebas

Basadas en la experiencia: Error guessing

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

27

P4 Medicin de la cobertura
alcanzada
=

Cobertura:
N:

T:

100 %

cobertura alcanzada por una tcnica de diseo

nmero de elementos de cobertura incluidos en casos
de prueba ejecutados
nmero de elementos de cobertura identificados

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

28

Estado actual (Junio 2014)

Estndares internacionales publicados (Agosto 2013)

Prximamente

29119-1, 2, 3: Conceptos, Procesos, Documentacin

29119-4 Tcnicas de prueba: DIS-2 (FDIS previsto fin 2014)

En progreso

Business Plan para divulgacin en desarrollo

29119-5 Keyword-driven Testing: CD
33063 Modelo de evaluacin de proceso para procesos de
pruebas de software DIS

33000 renombra serie 15504 (anlogo a CMMI)

33063 Usa 29119-2 como modelo de procesos de referencia

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

29

El futuro Business Plan

Actividades a corto plazo (5 aos)

Trabajo tcnico (estndares, tech. reports)

Integracin con otros estndares/frameworks de la industria, y
grupos del JTC1 (liaisons)
Mejora del proceso interno, surveys, nuevos miembros
potential areas where standards or technical reports could be developed
Test Processes Maturity Levels

Test Reporting

Model-based testing

Tester Skills and Capabilities

29119 for outsourcing/offshoring

Automation

29119 for mobile testing

29119 in different industry sectors
29119 and RBT
29119 Test Metrics

Exploratory Testing
High Volume Automated Testing
29119 relationship with safety-related

Selecting Test Techniques

Data-centric testing

Product Line Engineering applied to testing

Test data sanitization

29119 for agile

Non-functional testing

How to tailor the standards

29119 in the cloud

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

30

Conclusin

El estndar internacional ISO/IEC 29119 proporciona las

directrices para las pruebas cubriendo todos los
aspectos del ciclo de vida:

Composicin consistente de definiciones, procesos,

procedimientos y tcnicas para las pruebas de software
Soluciona dispersin existente actualmente
Cubre huecos no cubiertos por estndares existentes
Adoptado por los comits de normalizacin nacionales, IEEE y
BSI
Actualmente representado por 26 naciones, revisado por
profesionales de las pruebas de software en todo el mundo
El siguiente paso en la profesionalizacin de esta industria.

Ms informacin:

Grupo de trabajo GT26: http://in2test.lsi.uniovi.es/gt26/

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 Pruebas de software

31