CONCEPT 3 Trial and Error
8. HOOFDSTUK 8 – TESTEN 1 INLEIDING
8.3 CONCEPTTEST EXPERTS Inleiding
De testpersonen zijn twee mensen die verbonden zijn aan de anti- pestmethode KiVa via de Rijksuniversiteit van Groningen, Faculteit Gedrags-en Maatschappijwetenschappen.
Ik heb gedurende het project veelvuldig contact gehad met deze mensen, die zeer enthousiast hebben gereageerd op mijn interesse in de KiVa anti- pestmethode. Zij treden op als stakeholder en de mening over het product is zeer belangrijk voor het succes van het project.
Testpersonen: Gijs Huijtsing Veerle Rijntjes
De interactieve film is via e-mail naar de Rijksuniversiteit verzonden met een lijst met vragen. Deze is samen beantwoord door Gijs en Veerle. In deze test valideer ik punt 1 tot en met 5 van het Programma van Eisen. Hieruit zijn vragen ontstaan die gesteld zijn aan de testpersonen.
1. Het product dient als preventie tegen het pesten
2. Het product is inzetbaar op scholen die geen anti-pestmethode hanteren
3. Het product moet de belangrijkste waardes van de KiVa-methode vertalen in film
- Leren andere kinderen te mobiliseren
- Samen staan we (de klas) sterk tegen het pesten - Rollenbenadering volgens KiVa
4. Het product moet deze waardes overbrengen op de doelgroep 5. Het product moet zorgen voor een bewustzijnscreatie bij de
doelgroep
In deze test is de volgende vraag leidend:
‘Past het concept/product binnen de KiVa-methode?’ Hieruit volgen verschillende vragen:
1. ‘Voldoet het product aan de waarde die de KiVa-methode uitdraagt?’ 2. ‘Is het product bruikbaar in het basisonderwijs (als discussiestarter) volgens de mening van de experts dan wel bruikbaar binnen de KiVa- methode? (binnen de huidige lessenserie)’
3. ‘Kan het gestelde doel, bewustzijnscreatie, optreden na gebruik van het product bij kinderen van de doelgroep, zonder enige voorkennis?’
Resultaten
‘Past het concept/product binnen de KiVa-methode?’
Veerle: Ik denk wel dat de grote lijn van deze film bij de KiVa-methode past. Ik vind dat goed naar voren komt dat kinderen iets moeten en kunnen doen tegen pesten en dat de kinderen in principe op een goede manier de juiste kant worden opgestuurd.
Gijs: Ik verwacht dat het KiVa-consortium aan deze film wel het stempel “KiVa-proof” zou willen geven. Het is allereerst een ontzettend mooi product, het ziet er heel goed uit. Ik denk dat de hoofdboodschap ook helder is; je wilt als groep dat het pesten stopt en vraagt anderen te helpen.
1. ‘Voldoet het product aan de waarde die de KiVa-methode uitdraagt?’
Veerle: KiVa draagt in mijn ogen vooral uit dat: ‘Niet iedereen is er verantwoordelijk voor dat er wordt gepest, maar iedereen is er
verantwoordelijk voor dat het stopt.’ Het gaat er daarbij dus om dat de hele groep mee helpt om het pesten te stoppen. Ik denk dat, vooral wanneer Tobias een groep kinderen vraagt om hem te helpen, dit goed naar voren komt.
Gijs: Ja, het is duidelijk dat de groep tegen het pesten moet optreden. Er zijn nog een paar zaken die misschien iets anders zouden kunnen: het hulp vragen aan klasgenoten is een beetje kunstmatig, en het gaat er nu vooral om dat de pester (Robbin) gestopt moet worden. Op het einde komt de hele groep tegenover hem staan, dat is ook intimiderend. We horen nu niets van en over de gepeste leerlingen. Een ander (extra?) uitgangspunt zou kunnen zijn dat hij zich niet fijn voelt op school en dat je daar met z’n allen wat aan wilt doen.
2. ‘Is het product bruikbaar in het basisonderwijs (als discussiestarter) volgens de mening van de experts dan wel
bruikbaar binnen de KiVa-methode? (binnen de huidige lessenserie)’ Veerle: Voor zover ik kan bekijken kan dit product prima worden ingezet in de klas om discussie en gesprekken over pesten/pestsituaties op gang te brengen. Ik denk dat de leerkracht hier zeker handvatten uit kan halen om met de klas in gesprek te gaan. Ook binnen de huidige lessenserie lijkt mij dit te doen. Bijvoorbeeld bij het thema ‘Herken Pesten’, ‘Pesten en de groep’ of ‘De groep verzet zich tegen pesten’.
Ik denk niet per se dat de kinderen in deze film alles perfect doen,
sommige dingen kunnen beter (bijvoorbeeld met zijn allen spelen, dus ook met de pester. Of dingen aan de juf of meester vertellen, of zeggen dat je iets niet leuk vindt zonder boos te worden of anderen erg te imponeren) maar ook hierover kan in de klas gediscussieerd worden. Misschien is het juist goed voor de kinderen om na te denken hoe het nog beter kan. Of zelf een ander scenario te schrijven.
Gijs: Mee eens.
3. ‘Kan het gestelde doel, bewustzijnscreatie, optreden na gebruik van het product bij kinderen van de doelgroep, zonder enige voorkennis?’
Veerle: Moeilijk in te schatten of het bij de kinderen kan bijdragen aan de bewustwording die nog helemaal geen voorkennis hebben over pesten of groepsrollen. Als de leerkracht de discussie goed begeleidt misschien wel. Kinderen die KiVa hebben gehad zullen als het goed is wel links leggen met de geleerde dingen over groepsrollen. Toch zullen ook kinderen die geen voorkennis hebben wel aan het denken gezet worden na het zien
van deze film, ik kan alleen moeilijk inschatten hoeveel van de informatie zal blijven hangen. Bij kinderen die KiVa hebben gehad zal meer blijven hangen + beter kunnen plaatsen.
Als het enkel gaat om nieuwe inzichten: ja kinderen zullen een aantal nieuwe inzichten op doen.
Gijs: Ik denk het wel. Bij mij blijft heel erg hangen dat je met de groep pesten kan doen stoppen. Dat je het zelf kan oplossen, bespreekbaar kan maken.
Andere punten:
Veerle: Goed dat het kind dat gepest wordt wel een leuke jongen is en niet zo’n typisch gepeste.
Ik vind dat de kinderen op zich ook goed gestuurd worden in de film. Ik vind het heel leuk gefilmd en ook goed gecast. Leuke kinderen (wel allemaal blanke kinderen)
Gijs: De ‘hoofdpersoon’ is een topacteur! Het geheel is heel knap in elkaar gezet! Conclusie
Allereerst is het product door Gijs Huitsing en Veerle Rijntjes bestempeld als KiVa-proof. Dit betekent dat de waarden van de anti-pestmethode en de effectiviteit hiervan gewaarborgd zijn in de interactieve film. De feedback is overwegend positief, dan wel positief opbouwend.
Volgens Veerle is de interactieve film geschikt om in te zetten in klassen als discussiestarter of volledige les. Ook binnen de huidige lessenserie van KiVa ziet zij plaats voor de film. Dit is een belangrijke conclusie. De film past met zijn boodschap en heldere waardes binnen de KiVa-methode. Gijs is het hier mee eens.
Op de vraag of de film bewustzijnscreatie teweeg kan brengen of verhogen zijn de meningen ietwat verdeeld. Veerle vindt dat de film bij kinderen die KiVa hebben gehad, meer kan aanslaan. Dit is een helder antwoord, maar binnen dit onderzoeksrapport niet heel belangrijk.
De doelgroep bestaat immers uit kinderen die niet bekend zijn met deze anti-pestmethode en op een school zitten die ook geen erkende anti- pestmethode hanteert. Bij de kinderen die geen KiVa hebben gehad, zullen er volgens Veerle zeker een aantal nieuwe inzichten opgedaan worden omtrent het aanpakken van pesten volgens de KiVa-methode. Dit laatste is een antwoord op de hoofdvraag. Nieuwe inzichten opdoen staat gelijk aan bewustzijnscreatie bij de doelgroep.
Gijs weet bijna zeker dat de film deze bewustzijnscreatie teweeg kan brengen. Hij vindt de boodschap helder en de waardes van KiVa uitdragen.
Kritiekpunten zijn gebaseerd op eventuele verdere uitbreiding en verbetering van het scenario. Gijs en Veerle snappen dat niet alle belangrijke punten kunnen worden aangestipt in de film. Dit is opbouwende kritiek over hoe het nog beter zou kunnen. Concluderend kan ik zeggen dat de geteste punten van het
Programma van Eisen positief zijn beantwoordt door de experts. Dit betekent dat het product volgens de experts aan de gestelde eisen voldoet en het product volgens de experts het doel behaald. 8.4 PRODUCTTEST: Kinderen
Inleiding
Voor uitgebreide testresultaten verwijs ik naar de bijlage 5.
De testpersonen zijn 5 kinderen in de leeftijd van 9 tot 10 jaar van BSO de Lange Keizer in het Delftse Hout. Deze BSO is benaderd in de
vakantieperiode omdat de scholen dicht waren. Zij hebben zich heel positief opgesteld tegenover deze test. Helaas kon ik door privacy- protocollen geen foto’s en filmpjes maken, hiervoor was toestemming van de ouders nodig. Na twee testkinderen, mocht ik wel de rest van de testen met audio opnemen.
Dit is een belangrijke test na goedkeuring van de experts. Het eindproduct kan namelijk wel volledig volgens de KiVa-methode goed zijn, maar moet
natuurlijk ook tot de verbeelding van de kinderen spreken. De film moet de kinderen iets leren, dit is het belangrijkste doel.
In deze test valideer de volgende punten uit het Programma van Eisen. Hieruit zijn vragen ontstaan die na de test beantwoord moeten zijn.
4. Het product moet deze waardes overbrengen op de doelgroep 5. Het product moet zorgen voor een bewustzijnscreatie bij de
doelgroep
9. Het product moet simpele interactie bevatten geschikt voor de doelgroep
10. Het product moet een juiste screenvalue bevatten
13. De doelgroep moet zich kunnen identificeren met de protagonist 14. De doelgroep moet zich kunnen identificeren met de scenery 16. De doelgroep moet het product zonder systeemfouten kunnen
spelen
17. De doelgroep moet het product begrijpen zonder vragen te stellen In deze test is de volgende vraag leidend:
‘Creëert het product de beoogde bewustzijnscreatie omtrent de aanpak van pesten?’
Hieruit volgen verschillende vragen:
1. ‘Snappen de kinderen het product en treedt na het bekijken en spelen van het product bewustzijn omtrent de aanpak van pesten op?’
2. ‘Spreekt het product aan?’
3. ‘Zijn er onduidelijkheden binnen het product die moeten worden aangepast?’
Testopzet Bijlage: Testplan
Om te kunnen testen of de bewustzijnscreatie daadwerkelijk optreedt bij de doelgroep na het spelen van de film, heb ik vragen vooraf en na afloop van het spelen gesteld.
Introductie met naam en leeftijd
Vragen voorafgaand aan het spelen van de film 1. Is er in jouw klas weleens iemand gepest? 2. Deed jij dan iets om het pesten te stoppen? 3. Wat deed je dan?
4. Hielp dit?
Vragen na het spelen van de film 1. Wat heb je geleerd van de film? 2. Wat is het belangrijkste, denk je?
3. Als er nu iemand gepest wordt in jouw klas, wat zou je dan doen? Feedback op de film
4. Hoe vond je het spel om te spelen? Wat was de bedoeling? 5. Zou jij dingen anders doen?
6. Hoe vond je de pestsituaties?
7. Wat vond je Tobias en z’n klasgenoten? 8. Heb je verder nog opmerkingen over de film? Conclusie
Ik kan concluderen uit de testresultaten dat de boodschap van de film helder en duidelijk over kwam, alle 5 de kinderen konden na afloop
benoemen wat ze hadden geleerd. In deze test hebben ze duidelijk nieuwe inzichten opgedaan. Dit staat gelijk aan bewustzijnscreatie. Andere
resultaten gebleken uit de test zijn dat de situaties in de film realistisch. Verder blijkt de gebruikte vorm van interactie passend voor de doelgroep.
Na het uitlegscherm begrepen ze zelfstandig hoe ze de film moesten spelen.
De screenvalue, de balans tussen werkelijk en fictie was in orde. Na afloop van het spelen bij het stellen van de vragen gingen een aantal kinderen diep in op het verhaal. Hieruit kan ik voorzichtig concluderen dat de screenvalue in orde is. Het verhaal is geloofwaardig.
Als feedback op het spelen van de film is tijdens de testfase naar voren gekomen dat de buttons niet altijd goed klikbaar zijn door de Interlude afspeelbalk eronder. Verder is de tekst op het uitlegscherm te klein. Als belangrijkste kwam designtechnisch naar voren dat het opnieuw maken van een keuze, nadat er een ‘foute’ keuze is gemaakt niet word begrepen door de kinderen. Na het maken van een ‘foute’ keuze, krijgt de speler feedback. Hierna gaat de film een stukje terug, waarbij er opnieuw een keuze gemaakt moet worden. Maar liefst 4 van de 5 kinderen kozen opnieuw voor dezelfde keuze. Bij navraag waarom ze dit deden, werd duidelijk dat de testpersonen dachten dat de film dan wel verder ging. Een simpele oplossing om dit te voorkomen, is door dezelfde keuze weg te halen. Bij het opnieuw maken van een keuze zijn er dan nog 2 keuzes te maken in plaats van 3.
Concluderend kan ik zeggen dat de geteste punten uit het Programma van Eisen positief zijn beantwoord in de test met kinderen. Dit geld binnen de test niet voor punt 16 en 17. Feedback op deze punten worden
doorgevoerd en verbeterd in de definitieve versie van het prototype. Punten 13 en 14 kunnen niet duidelijk getest worden. Niet alle kinderen hadden antwoord op de vragen over feedback op de film.
8.5 PRODUCTTEST: Docenten