Usability Measuring & Testing

Studiehandleiding

Auteurs:

Marcel van Vliet

Code: CMD-E-UMT-01
Periode: 2015-1.1
Fase: Hoofdfase
Studiepunten: 3 EC
Jaar: 2014
Publicatiedatum: 9 februari 2015
Academie voor ICT & Media
Communication & Multimedia Design

1 Inhoud
Welkom bij het vak Usability Measuring & Testing. Voor het gemak afgekort tot UMT. In deze
handleiding lees je wat je gaat leren bij UMT en hoe we dat gaan aanpakken gedurende de
lesweken. Ook vind je de beoordelingswijze terug van hetgeen je op gaat leveren bij UMT.
UMT is een vak wat zich focussed op de vaardigheid. Maar om vaardig te kunnen zijn, zul je
ook het een en ander moeten weten. Daarom zul je ook kennis op gaan doen over de
onderwerpen die centraal staan.
Lesonderwerpen en aansluiting bij voorgaand onderwijs
Bij meerdere vakken en projecten in het eerste leerjaar (propedeuse) ben je in aanraking
gekomen met de mening van gebruikers. Denk nog maar eens terug naar een van de allereerste
vakken, Introduction Interaction Design (IxD). Daar heb je onderling een kleine usability test
uitgevoerd. Ook bij het vak The user and the system en bij de projecten heb je geregeld zelf, je
medestudenten of anderen gevraagd naar hun mening over werk of producten.
Hoewel je wellicht heel precies de mening van de anderen hebt nagevraagd, zul je voor een
echte test veel gestructureerder te werk moeten gaan. In dit vak gaan we die structeer met elkaar
ontdekken. In de voorgaande testen ging het vaak over het bevragen van de mening van
anderen. In dit vak stappen we daar (gedeeltelijk) van af en gaan we ons richten op harde feiten.
We willen meten wat anderen doen in plaats van dat we alleen maar willen weten wat hun
mening ergens over is. Dat meten voeren we ook nog eens stapsgewijs uit in verschillende fasen.
Deze fasen hebben relaties met algemene faseringen die gebruikt worden bij het uitvoeren van
onderzoek.
Je zult, kortom, gefaseerd en gestructureerd meten hoe anderen met een stuk software omgaan.
Je gaat een usability test voorbereiden, uitvoeren en de resultaten van de test verwerken. Van
daaruit ga je vervolgens een (dan onderbouwde) mening geven over de bruikbaarheid van de
software en geef je aanbevelingen ter verbetering ervan. We beperken ons binnen UMT tot een
(desktop) website, maar wat je in dit vak tegenkomt kun je ook op andere digitale uitingen
toepassen.

Leerdoelen:
Na het met goed gevolg doorlopen van het vak UMT, ben je in staat om:
-

relevante usability heuristieken en patterns te selecteren

op basis van een gegeven hoofdvraag deelvragen te operationaliseren tot meetbare
variabelen
een kleine usabilitytest te plannen en uit te uitvoeren
kwantitatieve data te analyseren met behulp van enkele (eenvoudige) statistische
modellen
kwalitatieve data te analyseren door middel van coderen van ongestructureerde
gegevens.
schriftelijke advies te uitbrengen op basis van getrokken conclusies

Je levert je uitwerking in twee stappen in. Een gedeelte op maandag in lesweek 8 en een
gedeelte donderdag in lesweek 9. Gedurende de eerste lesweken zul je duidelijker krijgen wat je
precies moet inleveren

Studiemateriaal
Boek:

Usability Testing Essentials: Ready, Set . . . Test! Carol Barnum. 2011. Burlington,
MA: Morgan Kaufmann. [ISBN 978-0-12-375092-1. 384 pages, inclusief index. ]
Verplicht (zonder kun je cht niet deelnemen aan het vak)

Reader:

Reader Onderzoeksfasen en Operationaliseren, Haagse Hogeschool, opleiding

CMD, van Vliet & Boenders. september 2013. Wordt beschikbaar gesteld via
Blackboard

Blackboard:

instructies, sheets en checklists.

2 Toetsing
Deadline

Toets

Gewicht

Eis

Resultaat/
Cijfer

Week 9
Week 8
(maandag)
een gedeelte

Taalvaardigheid
Dossier Usability onderzoek:
- heuristic evaluation (week 8)
- testplan (week 8)
- testrapport (week 9)
- rapport aanbevelingen (week 9)

voorwaardelijk
100%

Min. V
Min. 5.5

O/V
1-10

Eindcijfer

100%

Min. 5.5

1-10

Week 9
(donderdag)
een gedeelte

Taalvaardigheid (schrijfvaardigheid)
Om je dossier inhoudelijk beoordeeld te krijgen moet je een voldoende halen voor je onderdeel
Taalvaardigheid. Hierbij focussen we ons binnen UMT op de schrijfvaardigheid. We
verwachten van je dat de onderdelen (rapporten) van het dossier een professionele uitstraling
hebben, waarbij een goede structuur van de rapportages en een effectieve schrijfstijl zonder
grammaticale fouten onontbeerlijk is.
Beoordelingscriteria:
Criteria taalvaardigheid
V

Worden tijdens de lesperiode gegeven

Je moet voor taalvaardigheid een voldoende halen, omdat dit resultaat een voorwaarde is voor
het ontvangen van een resultaat voor het dossier. Je kunt dus alleen een eindcijfer krijgen voor
UMT met en voldoende voor taalvaardigheid.

Dossier Usability onderzoek

De inhoud van het vak komt terug in vier onderdelen waaruit het dossier is opgebouwd. Deze
leiden ieder tot een deelresultaat. De onderdelen (rapporten) in het dossier zijn:
Heuristic Evaluation;
Testplan;
Testrapport;
Onderzoeksrapport/Rapport aanbevelingen.

De heuristic evaluation en het testplan lever je uiterlijk maandag lesweek 8 digitaal via
Blackboard en fysiek (uitgeprint) bij de docent in. Het testrapport en
onderzoeksrapport/rapport aanbevelingen lever je op dezelfde wijze uiterlijk donderdag
lesweek 9 in.
Per rapportage zijn meerdere beoordelingsaspecten, maar er wordt per rapportage n
totaaloordeel gegeven. Er wordt voor een onderdeel een aantal punten gegeven van 1 t/m 10.
De deelresultaten van de vier onderdelen wegen niet allemaal in gelijke mate mee in het tot
stand komen van het eindresultaat.
De volgende wegingsfactor per onderdeel geldt:
Heuristic Evaluation
15%
Testplan
40%
Testrapport
30%
Rapport aanbevelingen 15%
Afhankelijk van het onderdeel kan een eis gesteld worden op volledigheid. Dit om te zorgen dat
er berhaupt een inhoudelijke beoordeling gegeven kan worden. Indien niet wordt voldaan aan
de volledigheidseis, is het aantal te behalen punten voor het onderdeel niet hoger dan 1.
Beoordelingscriteria:

Heuristic Evaluation (15% eindcijfer)

Elke groepsgenoot heeft een heuristic evaluation uitgevoerd.
Zijn/haar resultaten en conclusies zijn terug te vinden in het
document Heuristic Evaluation.
Alle onderdelen zijn aanwezig:
globale onderzoeksvraag, lijst met heuristics m.b.t. usability,
resultaten per richtlijn en een conclusie voor de
operationalisatie

Indien niet aan deze voorwaarden wordt

voldaan, is het aantal punten voor
heuristic evaluation gelijk aan 1.

Er is gewerkt aan de hand van de gegeven heuristics op het gebied van usability
Per heuristic zijn er specifieke voorbeelden gegeven van paginas/schermen welke niet aan de heuristic
voldoen (of juist wel).
Uit de beoordeling per heuristic blijkt dat de groepsleden de heuristic op de juiste manier kan
uitleggen.
Aan de hand van de beoordelingen per heuristic is er een conclusie getrokken voor de uit te voeren
operationalisatie.

Testplan (40% eindcijfer)

Operationalisatie is volledig uitgevoerd, dwz per deelvraag zijn meerdere meetvragen. En per meetvraag is
een meetniveau, meetbereik, meetmoment en koppeling met een usabilityaspect gegeven.
Operationalisatie is goed uitgevoerd
dwz de inhoud van deelvraag, meetvragen, meetniveaus, meetbereik, meetmoment en koppeling met een
usabilityaspect zijn inhoudelijk correct getypeerd en hebben verband met elkaar.
Testtaken (en testscenario's) zijn duidelijk, realistisch en gebaseerd op de geoperationaliseerde
deelvragen, meetvragen, beschreven doelgroep en belangrijkste gebruikersdoelen.
De beschrijving van de testopstelling, de planning en activiteiten** m.b.t. de uitvoering van de
usabilitytest zijn duidelijk, realistisch en volledig.
**Activiteiten en planning usabilitytest: aantal testpersonen (minimaal 6), wie zijn de testpersonen, hoe lang duurt

de testsessie, wanneer wordt welke testpersoon door wie getest, hoe is de rolverdeling van de testleiders,
observatieformulieren, standaard schriftelijke voorbereiding testpersonen, beschrijving op welke wijze testgegevens
tijdens de test worden verzameld
Observatieformulieren en interviewvragen sluiten aan op de geoperationaliseerde deelvragen en
testtaken.

Testrapport (30% eindcijfer)

Er zijn minimaal 6 testpersonen getest. In de bijlage van het
testplan zijn testdocumenten per testpersoon opgenomen

Indien niet aan deze voorwaarden wordt

voldaan, is het aantal punten voor
Testrapport gelijk aan 1.

Er is beschreven op welke wijze de testgegevens zijn geregistreerd en gestructureerd en er is een

onderbouwing gegeven waarom dit op deze wijze is uitgevoerd.
Analyse van de gestructureerde testgegevens sluit aan op de onderzoeks(deel)vraag en de meetvragen.
Bevindingen zijn logisch op basis van analyse en de verzamelde testdata.

Rapport aanbevelingen (15% eindcijfer)

De aanbevelingen volgen logischerwijs uit de testdata en de analyse daarvan.
De prioritering van de aanbevelingen zijn gebaseerd op risico en kans en sluit aan op de onderzoeksvraag
en/of probleemstelling.
De aanbevelingen zijn in de tekstuele en grafische verbetervoorstellen verwerkt.
De ontwerpbeslissingen bij de tekstuele en grafische aanbevelingen zijn onderbouwd en logisch op basis
van gevonden usabilityproblemen.

Herkansen

Aanpassen van het gehele Dossier Usability onderzoek op taalvaardigheid

(schrijfvaardigheid) en/of inhoud.
Inleveren: worden nadere afspraken over gemaakt met de betreffende docent.

3 Onderwijs
Werkwijze
Je werkt in dit tijdens dit vak in groepen van vier studenten. Samen met de andere studenten
voer je de casus uit. Voorafgaand aan de colleges wordt er van je verwacht dat je de
zelfstudiestof tot je neemt. Vaak is dat het lezen van een gedeelte van het boek of van de reader.
Ook verwachten we dat je kennis en vaardigheden die je in het eerste jaar hebt
opgedaan spontaan inzet in dit vak. We leggen niet alles meer uit van wat vorige jaar is
gepasseerd, maar zullen wel geregeld benoemen welke kennis je kunt gebruiken. Daarnaast
verwachten we van je dat je zelf actief je usabilitytest uitvoert.
De docent kan ook vragen een korte presentatie (5 minuten) voor te bereiden over de
werkzaamheden die je hebt uitgevoerd.

We gaan ervan uit dat je n dag in de week bezig bent voor UMT. Pr student wel te verstaan!
Dus een groep van vier heeft 4x8 uur = 24 manuren per week te besteden.
Lesvormen
Binnen UMT werken we met zelfstudie, werkcolleges (32 studenten) en workshops (in principe
met 16 studenten, soms met 32 studenten). De lesweken 1 t/m 8 heb je elke week een
workshop. Drie maal (lesweek 2, 4 en 6) staat er een werkcollege ingepland. Deze zijn echter
nog niet allemaal van een standaard inhoud voorzien, om enige uitloop te creren tijdens de
lesweken. Naast deze twee lesvormen zul je zelfstudietijd invullen met lezen van de stof en het
uitvoeren van de usabilitytest en alle bijbehorende rapportages.
Blackboard en rooster
Op blackboard vind je de handleidingen, reader, checklists en overige documenten. Ook zullen
er mededelingen gedaan worden via Blackboard. De resultaten van het vak UMT zullen ook via
Blackboard bekend gemaakt worden. De docenten communiceren via Blackboard. Het is de
verantwoordelijkheid van jouw als student om het medium geregeld te checken op meldingen
en dergelijke. Kijk svp in je rooster voor de docent die je hebt.

Week

Zelfstudietijd
Workshop
2 lesuur

Workshop Establishing the essentials/opstellen deelvragen

Inhoud
Voorbereiding student
Je krijgt een introductie in het vak UMT, waarbij
Studentehandleing lezen
ingegaan wordt op de doelstellingen,
Lezen boek Usability Testing Essentials Hoofdstuk
leerresultaten en de opdracht(en) van dit vak..
1
Je krijgt daarnaast beeld van wat onder usability,
measuring en testing wordt verstaan. Je oefent hoe je
deelvragen voor een usability test opstelt.
In tweetallen zul je opdrachten uitvoeren.
Zelfstudie
Studentehandleing lezen
Lezen boek Usability Testing Essentials Hoofdstuk 1

Week

Werkcollege
2 lesuur

Zelfstudietijd

Workshop
2 lesuur

Werkcollege - Big U and little u usability/heuristic evaluation

Inhoud
Voorbereiding student
Je krijgt inzicht in hoe usability testing in het
Lezen boek Usability Testing Essentials Hoofdstuk
ontwerpproces past en welke methoden er
3 lezen
beschikbaar zijn om inzicht te krijgen in de user
experience.
Je gaat een heuristic evaluation uitvoeren.

Workshop Big U and little u usability/heuristic evaluation

Inhoud
Voorbereiding student
Je krijgt inzicht in hoe usability testing in het
Lezen boek Usability Testing Essentials Hoofdstuk
ontwerpproces past en welke methoden er
3 lezen
beschikbaar zijn om inzicht te krijgen in de user
+
experience.
Reader Operationaliseren van variabelen
Je gaat variabelen om te testen verder
(beschikbaar op blackboard)
operationaliseren.
opdracht week 1 afronden
Zelfstudie
Wat ga je doen?
Lezen boek Usability Testing Essentials Hoofdstuk 3 lezen
+
Reader Operationaliseren van variabelen
opdracht week 1 afronden
Tussenresultaat/ deliverable die af is:
Rapportage Heuristic Evaluation

Week

Zelfstudietijd
Workshop
2 lesuur

Workshop Planning for usability testing

Inhoud
Voorbereiding student
Je krijgt inzicht in de overwegingen die nodig zijn
Lezen boek Usability Testing Essentials Hoofdstuk
om een usability test op te zetten. Je leert een
5 lezen
testprotocol op te stellen door aandacht te geven
aan de testdoelstelling, selectie van testpersonen,
opdracht week 2 afronden
werving van testpersonen, opstellen van scenarios
en het kiezen voor kwalitatieve en/of
kwantitatieve methoden.
Zelfstudie
Wat ga je doen?
Lezen boek Usability Testing Essentials Hoofdstuk 5 lezen
opdracht week 2 afronden
Tussenresultaat/ deliverable wat deze week af moet zijn:
Geoperationaliseerde variabelen

Week

Werkcollege
2 lesuur

Zelfstudietijd

Workshop
2 lesuur

Werkcollege Inhoud
De inhoud van het werkcollege staat nog niet vast.
Er wordt een invulling gegeven aan het
werkcollege afhankelijk van de voortgang van de
werkzaamheden en vragen die er zijn.

Workshop Preparing for usability testing

Inhoud
Je krijgt inzicht in de stappen die nodig zijn om
een usability test praktisch voor te bereiden. De
student leert zelf een usability test voor te
bereiden.

Voorbereiding student
Nog niet bekend

Voorbereiding student
Lezen boek Usability Testing Essentials Hoofdstuk
6 lezen; de volgende gedeelten:
Pagina 163 -166 inclusief figuur 6.1 t/m 6.3
Pagina 173 t/m 179 (tot aan paarse blok)
Pagina 207 (vanaf being an effective an
unbiased moderator) t/m 210
opdracht week 3 afronden

Zelfstudie
Wat ga je doen?
Lezen boek Usability Testing Essentials Hoofdstuk 6 lezen
opdracht week 3 afronden

Tussenresultaat/ deliverable wat deze week af moet zijn:

Testprotocol gevat in de rapportage Testplan
Overzicht met tetstpersonen (je wt dus wie je gaat testen en je hebt deze personen al uitgenodigd!)
Je gaat deze week je usability-test zlf testen (test de test)!
Het doorlopen, corrigeren et cetera wordt geschat op 5 klokuren.

10

Week

Zelfstudietijd
Workshop
2 lesuur

Workshop Conducting a usability test

Inhoud
Je krijgt inzicht in de stappen die nodig zijn voor
het uitvoeren van een usabilitytest. We gaan er van
uit dat je in deze week (en volgende week) de
usabilitytest uitvoert). We gaat daarom alvast van
start met hoe je begint met het analyseren van je
resultaten
Bij het analyseren van de resultaten wordt net als
in het boek gewerkt in drie stappen:
1. wat hebben we opgemerkt
2. wat is de betekenis van de data
3. wat gaan we met bevindingen doen
Stap 1. wordt deze week behandeld. Stappen 2 en
3 in week 6

Voorbereiding student
Lezen boek Usability Testing Essentials
Hoofdstuk 7 lezen; de volgende gedeelten:
pagina 199 t/m 207 Setting up for testing,
meeting, greeting, briefing
pagina 211 t/m 216 (tot aan Administer
post-test feedback mehanisms)
pagina 225 t/m 231 Logging observations,
handling observers and visitors, working solo
Hoofdstuk 8 lezen; het volgende gedeelte:
pagina 239 t/m 249 Wat hebben we
waargenomen (what did we see)
opdracht week 4 afronden

LET OP: in de lesweken 5 en/of 6 ga je zlf de

usability test uitvoeren (bij minimaal 6
testpersonen). Dit vergt, buiten de lesuren om,
extra tijd (inplannen dus!).
Het uitvoeren van de test en verzamelen van de
gegevens 10 klokuren.

Zelfstudie
Wat ga je doen?
Lezen boek Usability Testing Essentials Hoofdstuk 7 + 8 (gedeeltelijk) lezen
opdracht week 4 afronden
Tussenresultaat/ deliverable wat deze week af moet zijn:
Alle benodigde formulieren die voor het testen van de gebruikers nodig zijn. Denk dan bijvoorbeeld aan
tekst introductie voor testpersonen, uitleg test, uitgeschreven testtaken, uitgeschreven taken van de
testers, observatieformulieren etcetera.
Je hebt de afgelopen weken daarmee alle informatie opgesteld op je Testplan te maken. Deze zou nu dus
af moeten zijn!

11

Week

Werkcollege
2 lesuur

Zelfstudietijd

Workshop
2 lesuur

Werkcollege Inhoud
De inhoud van het werkcollege staat nog niet vast.
Er wordt een invulling gegeven aan het
werkcollege afhankelijk van de voortgang van de
werkzaamheden en vragen die er zijn.

Workshop Analyzing the findings

Inhoud
Je krijgt inzicht in methoden om kwalitatieve
en/of kwantitatieve data te analyseren. Je leert de
verzamelde data zelf te analyseren met
gebruikmaking van enige statistische modellen.
Bij het analyseren van de resultaten wordt net als
in het boek gewerkt in drie stappen:
1. wat hebben we opgemerkt
2. wat is de betekenis van de data
3. wat gaan we met bevindingen doen
Stap 1. Is in week 5 behandeld. Stappen 2 en 3 in
deze lesweek 6
Het college gaat in op verzamelen van:
kwantitatieve data (bij kleine testomvang)
kwalitatieve data

Voorbereiding student

Voorbereiding student
Hoofdstuk 8 lezen (analyzing the findings); de
volgende gedeelten:
Hoofdstuk 8 (Analyzing the findings); de volgende
gedeelten:
pagina 249 (vanaf what does it mean?)
t/m 256 (tot aan Analyzing
questionnaires)
pagina 258 (vanaf using qualitative
feedback.) t/m 259 (tot collating
responses form .)
pagina 261 (vanaf Characterizing
findings by) t/m 268 (tot aan
Summary)
opdracht week 5 afronden

LET OP: in de lesweken 5 en/of 6 ga je zlf de

usability test uitvoeren (bij minimaal 6
testpersonen). Dit vergt, buiten de lesuren om,
extra tijd (inplannen dus!).
Het uitvoeren van de test en verzamelen van de
gegevens 10 klokuren.
Zelfstudie
Wat ga je doen?
Lezen boek Usability Testing Essentials Hoofdstuk 8 (gedeeltelijk) lezen
opdracht week 5 afronden
Tussenresultaat/ deliverable wat deze week af moet zijn:
Overzicht met tetstresultaten/testdata
Voor het Onderzoekrapport/rapport aanbevelingen: Minimaal de inhoudsopgave en uitgeschreven
het hoofdstuk Inleiding. Docent maakt afspraken wanneer exact in te leveren!

12

Week

Workshop
2 lesuur
Max. 32 studenten

Zelfstudietijd

Workshop Reporting the findings (1)

Let op: dit is een workshop, maar is met alle studenten/groepen uit de gehele klas en niet in
de aparte sub-groepjes uit de voorgaande workshops.
Inhoud
Je weet hoe je een onderzoeksrapport moet
opstellen en kan aan de hand van de checklist
beoordelen of het rapport aan de eisen voldoet.
Ook kan je vanuit de getrokken conclusies een
advies formuleren.

Voorbereiding student
Neem naar het college een laptop mee met daarop
de conceptversie van je onderzoeksrapport.

Zelfstudie
Wat ga je doen?
opdracht week 6 afronden
Tussenresultaat/ deliverable wat deze week af moet zijn:
Data geanalyseerd (conclusies en aanbevelingen hoeven nog niet perse getrokken te zijn)
Conceptversie van de onderzoeksrapport (rapport Aanbevelingen)
Nu definitief de heuristic evaluation en het Testplan afhebben (inleveren maandag lesweek 8!)

13

Week

Workshop
2 lesuur
Max. 32 studenten

Zelfstudietijd

Workshop Reporting the findings (2)

Let op: dit is een workshop, maar is met alle studenten/groepen uit de gehele klas en niet in
de aparte sub-groepjes uit de voorgaande workshops.
Inhoud
Je weet hoe je een advies moet opstellen en kan dit
door middel van feedback aanscherpen.

Voorbereiding student
Neem een laptop met de conceptversie van het
advies/aanbeveling mee.
Bedenk waar jij goed in bent met betrekking tot
schrijfvaardigheid.
Bijvoorbeeld, structuur, argumenteren, beeldend
taalgebruik, leestekens, spelling en grammatica,
schrijven afstemmen op de lezer, kort en bondig
formuleren etcetera. En schrijf dit op!

Zelfstudie
Wat ga je doen?
opdracht week 7 afronden
Tussenresultaat/ deliverable wat deze week af moet zijn:
Gehele onderzoeksrapport (rapport Aanbevelingen) in laatste conceptvorm inclusief
conclusie/aanbevelingen

14

Week

Zelfstudie

Zelfstudie
Wat ga je doen?
Afronden dossier Usability onderzoek
De onderdelen (rapporten) in het dossier zijn:
Heuristic Evaluation;
Testplan;
Testrapport;
Rapport Aanbevelingen.
Wanneer lever je welk tussenresultaat/ deliverable op aan jezelf?
Dossier lever je in op de donderdag in lesweek 9.

Toets

Wat?
Dossier Usability
onderzoek

Wanneer?
Donderdag in lesweek
9

Waar en hoe?
Bij de administratie op
de 5e etage, mogelijk
wordt je gevraagd je
dossier ook digitaal op
te leveren. Hoe wordt
nog bekend gemaakt

15

4 Competenties
Binnen deze module worden (onderdelen van) de volgende competenties ontwikkeld en
getoetst.

Nr.

Competentie

Niveau

1C

Context onderzoeken

Evalueren en testen tijdens alle fasen

van het ontwerpproces

6A

Kiezen methode(n) en technieken bij

een user- centered ontwerpproces

6B

Kiezen projectbeheersingsmethode

6C

Reflecteren op de aanpak

Inzicht verwerven in (nieuwe)

toepassingsdomeinen

8A

Toepassen resultaten onderzoek

8B

Praktijkgericht onderzoek doen

Afbeelding voorkant:
Perth Web Accessibility Camp 2013 - Is there a Meeting Between Accessibiltiy and Usability Vivienne Conway sketchnote CannedTuna

16