Comunicability of two Web 2.

0 accessibility
evaluation tools
Comunicabilidad de dos herramientas de evaluacin
de la accesibilidad en entornos Web 2.0
Afra Pascual Mireia Ribera Toni Granollers
GRIHO research group Adaptabit research group GRIHO research group
Polytechnic School, Department of Information Science Polytechnic School,
University of Lleida (UdL) University of Barcelona (UB) University of Lleida (UdL)
Lleida (Spain) Barcelona (Spain) Lleida (Spain)
apascual@diei.udl.cat ribera@ub.edu antoni.granollers@udl.cat

Abstract This paper presents the results of a semiotic
inspection of two web accessibility evaluation tools widely used for
web editor tools: the Emphatic System Editor for Accessibility
(EE4A) and the Test of Accessibility Web Content Manager system
System (TAW-CMS). The Semiotic Inspection Method, from
Semiotics Engineering, provides an analysis of the communicability
of interactive systems. Results show EE4A is focused to non-
technical users while TAW-CMS targets more technical and
accessibility profiles. As a final thought, it is proposed that Web 2.0
development environments should require appropriate assessment
tools for non-technical people.
ResumenEste artculo presenta los resultados de una
inspeccin semitica de dos herramientas de evaluacin de la
accesibilidad integradas en editores web, el Sistema Emphatic
Editor for Accessibility (EE4A) y el sistema Test of Accessibility
Web en Content manager System (TAW-CMS). El mtodo de
inspeccin semitica, propuesto por la Ingeniera Semitica,
proporciona un anlisis de la comunicabilidad de los sistemas
interactivos. Como resultado se observa que el sistema EE4A se
dirige a usuarios no tcnicos mientras que el sistema TAW-CMS se
dirige a perfiles ms tcnicos y con formacin en accesibilidad.
Como reflexin final se propone que los entornos Web 2.0
requieren herramientas de evaluacin adecuadas para personas
no-tcnicas.
Keywords Ingeniera Semitica, Accesibilidad,
Comunicabilidad, Usabilidad, Evaluacin, Editores web
causar algn problema de accesibilidad a personas con
discapacidad. Este cambio de roles ha provocado que se hable
de Web 2.0 en contraposicin a la Web 1.0.
En este contexto, puesto que intentar formar a todos los
prosumidores sobre accesibilidad web sera un sinsentido,
consideramos que informar de forma clara y comunicar los
posibles problemas causados por el contenido en un lenguaje
sencillo, puede contribuir a que dichos usuarios, generalmente
sin conocimientos tcnicos [5] apliquen adecuadamente
criterios de autora accesibles. Una mejor comprensin de los
problemas redundar, en ltima instancia, en aumentar la
calidad del contenido web.
La calidad de la metacomunicacin en un sistema
interactivo es la materia de estudio de la Ingeniera Semitica
(IngSem). Segn esta disciplina, la interaccin con las
interfaces digitales no es una relacin entre persona-ordenador,
sino una relacin persona-persona (diseador usuario) que se
materializa mediante la interfaz del sistema software y en la
que el medio de transmisin es el ordenador [6][7][8] (vase
figura 1). La IngSem define la comunicabilidad como la
capacidad de comunicar a los usuarios, de manera eficiente y
efectiva, las intenciones del diseador, a travs de su
representante (el sistema software).

I. INTRODUCCIN
Aunque existen recomendaciones como las pautas ATAG y
las WCAG, las segundas con impacto legal, diversos estudios
muestran su bajo cumplimiento [1][2][3] en webs pblicas o de
inters general. Actualmente estos web presentan barreras de
acceso a los usuarios con discapacidad y vulneran sus derechos
civiles.
A diferencia de las primeras etapas del web, con roles muy
diferenciados entre creadores de contenido y usuarios finales,
actualmente millones de usuarios crean contenido en la web en
redes sociales y blogs utilizando distintas plataformas de Fig. 1. Modelo de metacomunicacin de la IPO segn la Ingeniera
Semitica [9].
edicin web. Son los llamados usuarios prosumidores [4] y
mayoritariamente desconocen si el contenido creado puede

978-1-4673-9464-2/15/$31.00 2015 IEEE 269

 La IngSem propone dos mtodos para evaluar la
comunicabilidad de un sistema interactivo: el Mtodo de
Inspeccin Semitica (MIS) y el Mtodo de Evaluacin de la
Comunicabilidad (MEC) [10]. El primer mtodo, el MIS, se
centra en analizar el mensaje emitido por el diseador,
mientras que el segundo, el MEC, se centra en cmo el
mensaje est siendo recibido, interpretado y comprendido por
el usuario. El mtodo MIS se ha aplicado a diversos sistemas
interactivos [11][12][13][14], y su validez ha sido contrastada
en diversos estudios [15][16].
Este artculo presenta los resultados de aplicar el Mtodo de
la Inspeccin Semitica a dos sistemas de evaluacin de
accesibilidad integrados en un editor web, el sistema EE4A y el
sistema TAWCMS.
II. CONTEXTO DEL ESTUDIO
A. Mtodo de Inspeccin Semitica (MIS)
El Mtodo de la Inspeccin Semitica (MIS) evala los
signos de los artefactos con los que interacta el usuario con el
fin de ayudar en el proceso de comunicacin [9]. El MIS
consta de cinco pasos: (1) una inspeccin de los signos
metalingsticos (2) una inspeccin de signos estticos de la
interfaz, (3) una inspeccin de los signos dinmicos de la
interfaz, (4) una comparacin para contrastar la
metacomunicacin de diseador a usuario identificada en los
pasos 1, 2 y 3, y, finalmente, (5) una apreciacin concluyente
de la calidad de la metacomunicacin general del diseador
hacia el usuario.
Los signos metalingsticos comunican de manera explcita
el significado del sistema y cmo puede ser utilizado, a travs
de smbolos de ayuda, documentacin online/offline,
advertencias, consejos, guas, mensajes explicativos,
informacin adicional en sitios web, etc. El anlisis de estos
permite el contacto directo con la representacin explcita de la
intencin del diseador.
Los signos estticos se interpretan sin relacin temporal y/o
causal, constituyendo el vocabulario interactivo y las
estructuras del lenguaje de la interfaz: elementos de interfaz,
controles, estructuracin de la pantalla, del men, de las
opciones, imgenes, texto, cajas de dialogo, cdigo de colores,
de formas, etc. Los signos estticos traducen la intencin del
diseador (evaluada a travs del anlisis de signos
metalingsticos) en alternativas de interaccin.
Los signos dinmicos se relacionan con aspectos
temporales y/o causales de la interfaz, ocurriendo en la
interaccin. Son el resultado de la interaccin, cuando se utiliza
el lenguaje de la interfaz: cambios en el estatus del sistema,
indicadores de actividad del sistema, retroalimentacin, etc.
Los signos dinmicos permiten evaluar si se cumplen las
expectativas del usuario sobre el comportamiento del sistema,
basada en los signos estticos disponibles.
La figura 2 muestra un esquema del mtodo MIS.
978-1-4673-9464-2/15/$31.00 2015 IEEE
Fig. 2. Procedimiento general del Mtodo de Inspeccin Semitica. Fuente:
[9]
B. Herramientas evaluadas
Las herramientas estudiadas ofrecen funciones en entornos
Web 2.0 para evaluar la accesibilidad del contenido que el
usuario tiene la intencin de publicar. Ambas herramientas se
evalan integradas en el editor web TinyMCE 1 . Slo se
analizan las funciones de evaluacin de la accesibilidad
equivalentes en ambas herramientas, no las de reparacin o
simulacin inexistentes en TAW.
1) Sistema Emphatic Editor for Accessibility (EE4A).
El sistema EE4A es un servicio de evaluacin de la
accesibilidad que tiene como objetivo mejorar la comunicacin
de los problemas de accesibilidad en el contexto de plataformas
blog [17]. El sistema EE4A actualmente est en desarrollo y
solo se dispone de un prototipo vertical para las discapacidades
visuales. Este sistema se ha diseado especialmente para un
usuario no tcnico al cual se le ofrecen tambin herramientas
de simulacin y de reparacin de cdigo. En EE4A la
evaluacin se basa en la herramienta IDI Web Accessibility
Checker2 a partir de las pautas WCAG 2.0.
2) El Sistema TAWCMS
El servicio web de TAW se ofrece como servicio online
independiente pero tambin se integra en editores web como
una extensin. Su funcionamiento se basa en evaluar el cdigo
HTML correspondiente al contenido introducido por el usuario
segn las WCAG 2.0 por un analizador propio. No ofrece
herramientas de reparacin ni de simulacin.
III. RESULTADOS
A continuacin, se muestran los resultados obtenidos en la
evaluacin MIS realizada en ambos sistemas. La figura 3
muestra el sistema EE4A y la figura 4 muestra el sistema
TAW-CMS.
A. Sistema EE4A
Un anlisis de los smbolos metalingsticos del sistema
EE4A nos muestra que no aparece ningn trmino referente al
cdigo ni a las pautas de accesibilidad, por ello la imagen del
1
Evaluador TAWCMS en editores web:
http://www.tawdis.net/servicios/cms/tinymce.html
2
AChecker Web Service API:
http://achecker.ca/documentation/web_service_api.php
270
usuario se podra resumir en: Pienso que eres una persona
que no conoce la accesibilidad web. Por otra parte, la interfaz
da mucha importancia al impacto de los problemas de
accesibilidad sobre las personas con discapacidad, pues esta es
la primera informacin que se ofrece y su posicin es central
(vase nmero 1 de la figura 3); este mensaje se podra resumir
como El sistema te muestra a qu personas con discapacidad
pueden afectar las barreras y te proporciona informacin
relacionada con ellas.
En un segundo nivel, los smbolos estticos detallan an
ms estos problemas cuantificndolos, mostrando un breve
resumen de cada uno y con unos personajes ficticios que
expresan una emocin positiva o negativa segn el contenido:
Te indico el nmero de barreras que causa tu contenido a
estos usuarios, y de qu forma les afectan las barreras de
accesibilidad en su estado de nimo. Consultar el nmero 2
en la figura 3.
Los smbolos dinmicos (el desplegable que aparece al
seleccionar un usuario) proporcionan informacin de los
elementos concretos en los que existe una barrera. La
metacomunicacin basada en smbolos dinmicos del sistema
EE4A podra sintetizarse como: "Pienso que eres una persona
que necesitas conocer con detalle aquellos elementos que
actan cmo barreras de acceso y te ofrezco esta informacin
de forma destacada. Consultar el nmero 3 en la figura 3.
B. Sistema TAW-CMS
El anlisis de la metacomunicacin basada en smbolos
metalingsticos del sistema TAW-CMS nos muestra un
listado de fallos y revisiones relacionadas con la accesibilidad
web de la pgina evaluada (consultar el nmero 1 en la figura
4). Se hace referencia explcita a cdigo HTML (H1, H3) y con
terminologa propia de las pautas WCAG (por ej. Compruebe
que la imagen es decorativa). La imagen del usuario que
transmiten estos mensajes podra sintetizarse como: Eres un
usuario con un perfil tcnico al que le interesa la accesibilidad
web y est sensibilizado con ella. Yo te presento los errores tal
y como se muestran en las pautas WCAG para que dispongas
de la informacin necesaria para conocer cmo repararlos.
El anlisis de la metacomunicacin basada en smbolos
estticos del sistema TAW-CMS nos muestra informacin con
iconos de error o de aviso (consultar el nmero 2 en la figura 4)
que luego se detallan en la parte inferior de la pgina de
resultados. Cada icono est enlazado con su correspondiente
mensaje. La metacomunicacin basada en smbolos estticos
del sistema TAW-CMS podra sintetizarse como: Te indico
con diferentes iconos el tipo de error de accesibilidad que se
produce en el contenido. La informacin de los errores se
relaciona con estos iconos para que puedas identificar a qu
corresponde cada uno.

Fig. 3. Pantalla de resultados del sistema EE4A.

La comparacin entre smbolos estticos y dinmicos

muestra un mensaje coherente dirigido a un usuario que no
conoce el cdigo ni las pautas de accesibilidad, y que desea
que su contenido llegue a sus usuarios potenciales sin
problemas. Aunque no se muestra cdigo, la interfaz ofrece
informacin detallada de los problemas identificados.
Como valoracin general de la calidad de la
metacomunicacin del diseador hacia el usuario podemos
afirmar que el sistema EE4A muestra caractersticas
metalingsticas, estticas y dinmicas que ayudan a mejorar la
experiencia y comprensin del usuario prosumidor sobre el
nmero de barreras concretas y sobre los elementos que las
causan. Adems se indica a qu personas con discapacidad
estn afectando ms gravemente. EE4A ofrece la informacin
relacionada con la accesibilidad de forma amigable para los
usuarios no tcnicos. El diseador pretende que el usuario
prosumidor empatice con las personas con discapacidad y se
sensibilice sobre el estado de nimo que causan en ellos los Fig. 4. Pantalla de resultados del sistema TAW-CMS.
problemas de accesibilidad del contenido.

978-1-4673-9464-2/15/$31.00 2015 IEEE 271

 Al seleccionar los enlaces relacionados con cada problema
de accesibilidad (consultar el nmero 3 en la figura 4), se abre
una nueva ventana que muestra ms informacin relacionada
con el problema. El anlisis de la metacomunicacin basada en
smbolos dinmicos del sistema TAW-CMS podra sintetizarse
como: Dispones de un sistema especializado que te ofrece
informacin concreta y precisa de los errores de accesibilidad
que se producen en el contenido expresado de la misma forma
a como lo hacen las pautas WCAG. Consultar el nmero 2 en
la figura 4.
Fig. 5. Los mensajes de metacomunicacin generados por los signos
metalingsticos estticos y dinmicos son coherentes. La metacomunicacin
basada en signos metalingsticos se dirige a usuarios con conocimientos de
cdigo HTML y capaces de entender la terminologa de las WCAG
(elementos de encabezado, secuencia de encabezados, ventana nueva). El
sistema muestra de forma muy rigurosa todos los errores de accesibilidad que
hay en el contenido creado, para que el usuario pueda aplicar la mejor
solucin en cada caso para repararlos. Consultar el nmero 3 en la figura 4.
IV. CONCLUSIONES
La investigacin muestra una comparativa de la inspeccin
semitica entre dos sistemas de evaluacin de la accesibilidad
de contenido web: el sistema EE4A y el sistema TAW-CMS.
La ingeniera semitica ofrece una nueva perspectiva que
permite adecuar los mensajes entre diseador y usuario a
contextos especficos.
El anlisis realizado en ambos sistemas constata que el
sistema EE4A se dirige a usuarios no tcnicos mostrando
informacin sobre las barreras de accesibilidad concretas que
afectan a las personas con discapacidad, potenciando un
acercamiento emptico. De este modo, los usuarios
prosumidores pueden sensibilizarse sobre cmo perciben el
contenido sus lectores con discapacidad. Por el contrario, el
sistema TAW-CMS muestra mensajes tcnicos para que
usuarios con conocimientos de cdigo y capaces de leer textos
normativos entiendan los errores de accesibilidad que se
producen en el contenido. TAW-CMS muestra de forma muy
rigurosa los errores de accesibilidad, y parece dirigido a
personas con conocimientos tcnicos elevados en el mbito de
la accesibilidad, como por ejemplo webmsters.
Cabe preguntarse si en los entornos Web 2.0 el enfoque de
TAW es el adecuado, y si la imagen del usuario reflejada en
esta herramienta se corresponde realmente al usuario de un
editor WYS-WYG. En este sentido creemos que la posicin
adoptada en EE4A puede inaugurar una nueva generacin de
herramientas de evaluacin web ms adaptadas a los nuevos
usuarios no-tcnicos.
Como trabajo futuro, se pretende extender el estudio
realizando una completa evaluacin de la comunicabilidad
utilizando el Mtodo de Evaluacin de la Comunicabilidad
(MEC) con usuarios, para observar cmo reciben, interpretan y
comprenden los mensajes que ofrece el sistema EE4A.
AGRADECIMIENTOS
ste trabajo ha sido financiado por el proyecto Mejora de
la Experiencia de Usuario para Infraestructuras de Datos
Abiertos Gubernamentales Sostenibles (InDAGuS-UX)
978-1-4673-9464-2/15/$31.00 2015 IEEE
(TIN2012-37826-C02-02) del Ministerio de Economa y
Competitividad y por el Convenio de colaboracin firmado
entre ACTIVA MTUA 2008 y la Universidad de Lleida para
desarrollar tecnologas y proyectos que posibiliten la
adaptacin y reinsercin laboral de personas con discapacidad
en el mbito de las TIC. El financiamiento ha ido a cargo
tambin de la beca predoctoral de la Universitat de Lleida
concedida a Afra Pascual.
REFERENCIAS
[1] The European Internet Accessibility Observation Project
(EIAO).http://unpan1.un.org/intradoc/groups/public/documents/un/unpa
n023677.pdf. Consultado: Abril 2015.
[2] Monitoring eAccessibility in Europe. http://www.eaccessibility-
monitoring.eu/. Consultado: Abril 2015.
[3] Harper, S., & Chen, A. Q. (2012). Web accessibility guidelines. World
Wide Web, 15(1), 61-88.
[4] Islas, O. (2011). La sociedad de la ubicuidad, los prosumidores y un
modelo de comunicacin para comprender la complejida de las
comunicaciones digitales. Revista ALAIC, (7).
[5] Martn Garca, Y. S., Miguel Gonzlez, B. S., & Yelmo Garca, J. C.
(2009). Prosumers and accessibility: how to ensure a productive
interaction. International Cross-Disciplinary Conference on Web
Accessibililty (W4A) (pp. 50-53). ACM.
[6] De Souza, C. S. (2005). The semiotic engineering of human-computer
interaction. MIT press.
[7] Varios autores. (2014). Comunicacin y Semitica en la Interaccin
Humano-Computador. Revista FAZ.
http://www.revistafaz.org/index_n6.html.
[8] Rogers, Y., Sharp, H., Preece, J., & Tepper, M. (2007). Interaction
design: beyond human-computer interaction. netWorker: The Craft of
Network Computing, 11(4), 34.
[9] De Souza, C. S., Leito, C. F., Prates, R. O., & da Silva, E. J. (2006).
The semiotic inspection method. In Proceedings of VII Brazilian
symposium on Human factors in computing systems (pp. 148-157).
ACM.
[10] De Souza, C. S., & Leito, C. F. (2009). Semiotic engineering methods
for scientific research in HCI. Synthesis Lectures on Human-Centered
Informatics, 2(1), 1-122.
[11] Rusu, C., Roncagliolo, S., Figueroa, A., Rusu, V., & Gorgan, D. (2012).
Evaluating the Usability and the Communicability of Grid Computing
Applications. In ACHI 2012, The Fifth International Conference on
Advances in Computer-Human Interactions (pp. 204-207).
[12] De Souza, C. S., Leito, C. F., Prates, R. O., Bim, S. A., & da Silva, E.
J. (2010). Can inspection methods generate valid new knowledge in
HCI? The case of semiotic inspection. International Journal of Human-
Computer Studies, 68(1), 22-40.
[13] Brando, A., Trevisan, D. G., Brando, L., Moreira, B., Nascimento, G.,
Vasconcelos, C. N. & Mouro, P. (2010). Semiotic inspection of a game
for children with down syndrome. In Games and Digital Entertainment
(SBGAMES), 2010 Brazilian Symposium on (pp. 199-210). IEEE.
[14] Coutinho, F., Prates, R. O., & Chaimowicz, L. (2011) Evaluating and
Investigating Game Accessibility for Deaf Players with the Semiotic
Inspection Method. ACM 978-1-4503-1016-1/12/05.
[15] De S Reis, S., & Prates, R. O. (2012,). Assessing the semiotic inspection
method: the evaluators' perspective. In Proceedings of the 11th Brazilian
Symposium on Human Factors in Computing Systems (pp. 287-296).
Brazilian Computer Society.
[16] Bim, S. A. (2007). A critical analysis of the semiotic engineering
evaluation methods. In Human-Computer InteractionINTERACT 2007
(pp. 624-625). Springer Berlin Heidelberg.
[17] Pascual, A.; Ribera, M.; Granollers, T. (2015). Empathic communication
of accessibility barriers in web 2.0 editing. Proceedings of the 12th Web
for All Conference (W4A15). ACM, New York, NY, USA, Article 23,
8 pages. ISBN: 978-1-4503-3342-9..
272