De chronologisch-sequentiële visualisatie (in het vervolg kort aangeduid met sequentie) ondersteunt de chronologische ordening van uitingen optimaal (het sequentiële model), zie 2.2.4. Daarentegen maakt deze visualisatie reactie-relaties noch participatie in één oogopslag zichtbaar. In figuur 3.1 staat een voorbeeld van de chronologisch-sequentiële visualisatie, bestaande uit vijf uitingen.
Figuur 3.1: chronologisch-sequentiële visualisatie
2. BOOMVISUALISATIE
De boom-visualisatie (boom) ondersteunt het boom-model volledig en het sequentiële model minder. De reactie-relaties tussen de uitingen zijn met elkaar verbonden door middel van takken. Op elke boomdiepte staan hier de berichten wel in chronologische volgorde van links naar rechts. Het is lastig om in deze visualisatie de participatie te beoordelen. In figuur 3.2 staat een voorbeeld bestaande uit vier uitingen.
23 3. INDENTATIEVISUALISATIE
De indentatievisualisatie (indentatie) ondersteunt het boom-model volledig en het sequentiële model niet. De meest ondersteunde kernkwaliteit is hier de reactie-relaties. Deze visualisatie is gebaseerd op de nieuwswebsite Reddit. Reddit gebruikt indentatie om de reactie-relaties van berichten te ordenen. In deze weergave staan alleen binnen hetzelfde indentatie-niveau de uitingen in chronologische volgorde. Het is lastig om in deze weergave zowel de chronologie als de participatie te beoordelen. In figuur 3.3 staat de indentatievisualisatie afgebeeld, bestaande uit vijf uitingen.
Figuur 3.3: indentatievisualisatie
4. MATRIXVISUALISATIE
De matrixvisualisatie (matrix) ondersteunt het sequentiële model volledig en het boom-model niet. De ondersteunende kernkwaliteiten van deze visualisatie zijn chronologie en participatie. De matrix wordt in de praktijk niet veel gebruikt, maar is eerder onderzocht door andere onderzoekers, zie sectie 2.2.4.3. In deze visualisatie zijn de berichten chronologisch en per gespreksdeelnemer geordend. Hierdoor is het in één oogopslag duidelijk hoe de participatie binnen een groepsgesprek verloopt. De reactie-relaties van uitingen worden in deze visualisatie niet weergegeven. In figuur 3.4 staat de matrixvisualisatie afgebeeld, bestaande uit vijf uitingen.
24 5. VN-MIX VISUALISATIE
VN-mix visualisatie (VN-mix) is een visualisatie die is voorgesteld voor Venolia en Neustaedter (2003), zie sectie 2.2.2.2. De VN-mix visualisatie ondersteunt het sequentiële model en het boom-model volledig. De kernkwaliteiten die deze visualisatie goed laat zien zijn chronologie en reactie-relatie. Alleen de kernkwaliteit participatie wordt niet weergegeven in deze visualisatie. In figuur 3.5 staat de VN-mix visualisatie afgebeeld, bestaande uit vijf uitingen.
Figuur 3.5: VN-mix visualisatie
3.2.1.2 EXPERTISE VAN DE ONDERZOEKSDEELNEMERS
De tweede onafhankelijke variabele is de expertise van de onderzoeksdeelnemers. De onderzoeksdeelnemers zijn ingedeeld in twee groepen: experts en non-experts, zie 3.1.
3.2.2 AFHANKELIJKE VARIABELE: BRUIKBAARHEID
De bruikbaarheid van een visualisatie is gemeten op basis van:
1. Effectiviteit: in dit experiment is dit begrip geoperationaliseerd als de hoeveelheid gemaakte fouten.
2. Efficientie: in dit experiment is dit begrip geoperationaliseerd als de tijd die een gebruiker nodig heeft om een vraag te beantwoorden.
3. Tevredenheid: in dit experiment is dit begrip geoperationaliseerd als een verzoek om de de vijf visualisatietypen in volgorde van voorkeur aan te geven.
Deze drie gemeten waarden resulteren uiteindelijk in een algehele bruikbaarheidsscore die aan een visualisatietype gehecht kan worden. Zie meer hierover in 3.8.6.
3.2.3 INTERFERERENDE VARIABELE: ERVARING
Wat mogelijk van invloed kan zijn op de resultaten is dat onderzoeksdeelnemers verschillen in hun ervaring met computer-gemedieerde groepsgesprekken. Ervaring kan men hebben door (i) het regelmatig lezen van computer-gemedieerde groepsgesprekken en/of (ii) regelmatig actief deelnemen aan computer-gemedieerde groepsgesprekken. Het zou kunnen zijn dat onderzoeksdeelnemers met ervaring minder vragen fout beantwoorden en een snellere antwoordtijd hebben dan onervaren onderzoeksdeelnemers.
25
3.4 TOTSTANDKOMING MATERIALEN
Deze sectie licht toe (i) hoe de weergegeven groepsgesprekken zijn ontworpen, (ii) hoe deze gesprekken zij omgevormd tot 15 visualisaties en (iii) hoe de vragen zijn opgesteld om de effectiviteit en efficiëntie van de visualisaties te testen.
3.4.1 ONTWERP VAN DE GESPREKKEN
De groepsgesprekken zijn gebaseerd op bestaande online groepsgesprekken die gevond en zijn op de websites Reddit en Fok!Forum. Hier is een keuze uit gemaakt op grond van het onderwerp. Dit moest een triviaal onderwerp zijn en de onderzoeksdeelnemers moesten hier vertrouwd mee zijn. Daarnaast moest het gesprek tenminste twee sub onderwerpen bevatten. Deze gesprekken werden gewijzigd om het juiste aantal berichten (10) en gespreksdeelnemers (5) te krijgen. Van elk gesprek zijn er boomrepresentaties gemaakt die de reactie-relaties tussen berichten laten zien. Er is voor gezorgd dat de boomstructuur van elk gesprek ten minste niveaus bevat. De ontworpen groepsgesprekken en bijbehorende boomstructuren zijn opgenomen in bijlage 4.
3.4.2 GESPREKKEN OMVORMEN TOT VISUALISATIES
Op basis van de boomrepresentatie van elke discussie is de geschiktheid van het visualisatietype bepaald. Van elk visualisatietype zijn er drie verschillende visualisaties op papier geschetst met elk een eigen gespreksonderwerp. Vervolgens zijn deze op de computer vormgegeven met behulp van het grafische programma InDesign. Hierbij zijn de visuele kenmerken zoals lettertypes, tekstkleur, tekstgroottes en achtergrondkleuren bij alle visualisaties, waar mogelijk, gelijk gehouden. Ook variatie in de afmetingen is, waar mogelijk, minimaal gehouden. Dit lukte niet altijd, aangezien de vijf verschillende visualisaties verschillen in breedte en diepte. Een uiting is in elke visualisatie tekstueel weergegeven met naam en tijdstip. De tekst van het bericht kan bestaan uit een of meer zinnen die mogelijk elliptische en/of a-grammaticale zijn. De spelfouten zijn wel verwijderd om de onderzoeksdeelnemers hierdoor niet te laten afleiden. Bijlage 3 toont de visualisaties en de eisen die hieraan zijn gesteld.
3.4.3 ONTWIKKELING 15 JA/NEE-VRAGEN
Er zijn verschillende soorten vragen mogelijk om te stellen: 1. open vragen;
2. meerkeuzevraag; 3. waar/onwaar-vragen 4. ja/nee-vragen;
De vierde optie is gebruikt om de begrijpelijkheid van een visualisatie te bevragen. Er is gekozen voor ja/nee-vragen om de onderzoeksdeelnemers niet te veel te belasten met zowel het begrijpen van de vraag en antwoordmogelijkheden. De ja/nee-vraag kan goed of fout worden beantwoord. De antwoordmogelijkheden ‘ja’ of ‘nee’ zijn aangevuld met de optie ‘weet ik niet’ om te voorkomen dat een onderzoeksdeelnemer een antwoord gokt. Deze optie is tevens een indicatie of de vraag en/of visualisatie niet begrepen is. Het antwoord ‘weet ik niet’ is beschouwd als een fout antwoord. Bij elk visualisatietype zijn er drie vragen geformuleerd met betrekking tot chronologie, reactie -relatie en participatie. Gespreksinhoud en visualisatietypen zijn hiervoor bepalend geweest. In totaal
26 hebben de onderzoeksdeelnemers vijftien ja/nee -vragen beantwoord over vijftien verschillende discussies (zie tabel 3.3).
VISUALISATIE CHRONOLOGIE REACTIE-RELATIES PARTICIPATIE
Sequentiële-visualisatie 1 1 1
Boomvisualisatie 1 1 1
Indentatievisualisatie 1 1 1
Matrixvisualisatie 1 1 1
VN-mix visualisatie 1 1 1
Tabel 3.3: verdeling vragen over de visualisaties
De vijftien vragen zijn op een vergelijkbare, maar enigszins verschillende manier geformuleerd om monotonie te vermijden en actieve aandacht te stimuleren. Het begrijpen van de discussies in relatie tot de chronologische ordening zijn getoetst door vragen te stellen als:
CHRONOLOGIE
1. Is bericht A eerder/later verstuurd dan bericht B? 2. Zi jn deze berichten A en B voor/na bericht C vers tuurd?
Het begrijpen van de discussies in relatie tot reactie-relaties zijn getoetst door vragen te stellen als:
REACTIE-RELATIES
1. Rea geert persoon A op persoon B in bericht A? 2. Heeft bericht A rea cties?
3. Is bericht A een reactie bericht B?
Het begrijpen van de discussies in relatie tot de participatie van de zenders in de discussie zijn getoetst door vragen te stellen als:
PARTICIPATIE
1. Neemt persoon A deel aan de discussie met de meeste berichten? 2. Wa s bericht A het enige bericht va n persoon B i n de discussie?
3. Pa rtici peerde persoon A met meer berichten i n de discussie dan persoon B?
Er zijn verschillende mogelijkheden om in een vraag te refereren naar berichten in de discussie, namelijk:
1. door de naam van de zender te noemen; 2. door het bericht te quoten;
3. door het tijdstip van het bericht te benoemen;
Verwijzing naar personen is in de vragen gedaan door de naam te noemen. De definitieve vragen zijn opgenomen in bijlage 5.
27
3.5 MATERIALEN
Qualtrics is gebruikt om het experiment online uit te voeren. Het online experiment bevatte drie onderdelen:
1. vragen naar persoonlijke gegevens (geslacht, leeftijd en bekendheid met online platforms) en vragen om de ervaring met online groepsgesprekken in kaart te brengen;
2. vijftien ja/nee-vragen;
3. een verzoek om de vijf visualisaties te ranken.
Per onderdeel worden de instrumenten nader toegelicht. De drie onderdelen die de onderzoeksdeelnemers hebben doorlopen zijn weergegeven in bijlage 6. Onderdeel 1 is opgenomen in bijlage 6.1, onderdeel 2 in bijlage 6.2 en onderdeel 3 in bijlage 6.3.
3.5.1 PERSOONLIJKE GEGEVENS EN ERVARING MET CMC-GROEPSGESPREKKEN
In het eerste onderdeel zijn er vragen gesteld met betrekking tot de persoonlijke gegevens (geslacht, leeftijd en bekendheid met online platforms). Daarnaast zijn de deelnemers gevraagd naar hun ervaring met computer-gemedieerde gesprekken. Ervaring kan men hebben door (i) het regelmatig lezen van computer-gemedieerde groepsgesprekken en/of (ii) regelmatig actief deelnemen aan computer-gemedieerde groepsgesprekken. De volgende type vragen zijn aan de onderzoeksdeelnemers gesteld:
1. in welke mate (nooit; jaarlijks; maandelijks; wekelijks; dagelijks) ze actief deelnemen aan groepsgesprekken op Facebook, WhatsApp, Reddit, chat-applicaties en discussie-sites; 2. in welke mate (nooit; jaarlijks; maandelijks; wekelijks; dagelijks) ze groepsgesprekken lezen
op Facebook, WhatsApp, Reddit, chat-applicaties en discussie-sites.
De items kunnen beantwoord worden op een schaal van 1 (nooit) tot 5 (dagelijks). Dit resulteert per online platform in een score van 1 tot 5. Aan de hand van deze scores is berekend in welke groep de onderzoeksdeelnemers vallen. De onderzoeksdeelnemers zijn onderverdeeld in (i) ervaren en (ii) onervaren onderzoeksdeelnemers. Een onderzoeksdeelnemer is ervaren vanaf een gemiddelde schaal van 3. Hierbij is het gemiddelde van vraag 1 en vraag 2 samen genomen. De berekening om onderzoeksdeelnemers onder te verdelen in deze twee groepen is opgenomen in bijlage 2 en de vragen zijn opgenomen in bijlage 6.1.
3.5.2 VIJFTIEN JA/NEE-VRAGEN
Het tweede onderdeel bestaat uit vijftien ja/nee-vragen over groepsgesprekken die op vijf verschillende manieren zijn weergegeven. Er werd telkens één vraag met bijbehorende visualisatie weergegeven op het beeldscherm. De volgorde waarin de onderzoeksdeelnemers de vragen met bijbehorende visualisatie kregen te zien, verschilde per onderzoeksdeelnemer. De vragen en bijbehorende visualisaties zoals de onderzoeksdeelnemers deze hebben gezien op het beeldscherm zijn opgenomen in bijlage 6.2. Bij het tonen van vragen en visualisaties op het beeldscherm is er voor gezorgd dat de onderzoeksdeelnemer geen gebrui k hoefde te maken van een schuifbalk. Bij dit onderdeel is de tijd die de onderzoeksdeelnemer nodig had om een vraag te kunnen beantwoorden bijgehouden.
28 3.5.3 SUBJECTIEVE BEOORDELING
Het derde onderdeel van de vragenlijst bestaat uit een subjectieve beoordeling van de vijf visualisatietypen. Na het beantwoorden van de 15 ja/nee-vragen, kreeg de onderzoeksdeelnemer een overzicht te zien waar alle vijf de visualisaties in verkleinde vorm werden weergegeven. Ook werden de namen van de visualisaties voor het eerst getoond. De onderzoeksdeelnemer werd gevraagd om aan de hand van dit overzicht een volgorde in de visualisaties aan te brengen om zijn voorkeur kenbaar te maken, waarbij (1) staat voor het beste visualisatie en (5) voor het slechtste. Vervolgens kon de onderzoeksdeelnemer middels een open vraag zijn antwoord toelichten. Door deze vraag te stellen werd de onderzoeksdeelnemer geforceerd goed na te denken over de ranking, omdat hij deze moet onderbouwen. Met de toelichting wordt binnen dit onderzoek niets mee gedaan. De vragen van dit onderdeel zijn opgenomen in bijlage 6.3.
3.6 PILOTSTUDIE
Er is een pilotstudie uitgevoerd met twee personen om eventuele moeilijkheden of onduidelijkheden in het experiment te identificeren en waar mogelijk te verbeteren. Na het uitvoeren van de pilot zijn de volgende zaken aangepast:
- In eerste instantie waren er meerkeuzevragen geformuleerd in plaats van ja/nee-vragen. Het bleek echter dat dit de moeilijkheidsgraad verhoogde. Hierdoor lag de focus niet op de begrijpelijkheid van een visualisatie, maar op het begrip van een vraag.
- De VN-mix was niet gevisualiseerd zoals Venolia en Neustaedter (2003) hadden voorgesteld. De VN-mix is verbeterd en aangepast.
- Bij het tweede onderdeel ’15 ja/nee-vragen’ kwam er een schuifbalk in beeldscherm. Dit zou echter de resultaten negatief beïnvloeden, aangezien het daardoor meer tijd zou kosten om een vraag te beantwoorden. Daarom is besloten om een extra groot beeldscherm te gebruiken ten tijde van het experiment.
- Bij het derde onderdeel ‘subjectieve beoordeling’ dacht men dat het overzicht met de vijf de visualisaties interactief was. Men dacht dat de visualisaties konden worden verschoven met de muis. Hierdoor zag men de vraag over het hoofd. Daarom is bij de instructie toegelicht dat de vraag onder de afbeelding staat.
3.7 PROCEDURE
Het experiment is uitgevoerd in de periode van 18 mei tot 2 juli 2018. Het tijdsschema is opgenomen in bijlage 7. Deze experimenten hebben plaatsgevonden op het Harmoniecomplex van de Rijksuniversiteit en bij het bedrijf Malengo in een geluiddichte zaal. In het zaaltje stond een tafel met daarop het beeldscherm, toetsenbord en muis. De laptop stond op een stoel ernaast. Tijdens alle experimenten is steeds gebruik gemaakt van dezelfde opzet om de betrouwbaarheid te vergroten. De volgende stappen zijn doorlopen:
STAP 1: INTRODUCTIE
Allereerst werden de onderzoeksdeelnemers welkom geheten. In de introductie werd het doel van het onderzoek nog niet toegelicht zodat de onderzoeksdeelnemers niet werden gestuurd. Er werd alleen verteld dat het over ‘groepsgesprekken’ ging. Daarnaast vulden de onderzoeksdeelnemers een consentformulier in. Belangrijke punten waren dat de onderzoeksdeelnemers niet met andere onderzoeksdeelnemers die het onderzoek nog moesten uitvoeren, over het experiment gingen
29 praten. Ook mochten ze geen vragen stellen ten tijde van het experiment. Het consentformulier is opgenomen in bijlage 8.
STAP 2: UITVOEREN EXPERIMENT
De onderzoeksdeelnemers gingen het experiment uitvoeren. De instructie werd niet mondeling toegelicht maar was opgenomen in de vragenlijst. Het verschilde qua tijd hoe lang ze over dit onderdeel deden. Dit varieerde tussen de 10 en 30 minuten. De instructies en vragen zijn opgenomen in bijlage 6.
STAP 3: AFRONDING
Na afronding van het experiment werd het onderzoeksdoel toegelicht. Ook was er gelegenheid om eventuele vragen te stellen. Iedere onderzoeksdeelnemer kreeg als dank een presentje. Ze konden kiezen uit een speciaal biertje met een BiFiworstje, een zakje Red Band, Toblerone of Toffifee .
3.8 ANALYSE VAN DE VERKREGEN GEGEVENS
Op basis van het theoretisch kader is de volgende hoofdvraag voor dit onderzoek opgesteld: “Welke van vijf voorgestelde visualisaties is het meest bruikbaar voor de weergave van computer -gemedieerde groepsgesprekken in een asynchrone online discussieruimte?”. Om antwoord te geven op deze vraag wordt hieronder toegelicht hoe de resultaten geanalyseerd zijn. Alle resultaten zijn op een inzichtelijk manier weergegeven en beschreven. Vervolgens zijn een aantal resultaten getest op significantie. Deze analyses zijn uitgevoerd met het statistische pakket SPSS (versie 22.0). Hieronder wordt aangegeven welke testen zijn toegepast.
3.8.1 ANTWOORDEN OP JA/NEE-VRAGEN
De ja/nee-vragen hebben drie antwoordmogelijkheden: (i) ja, (ii) nee en (iii) weet ik niet. Het verschilt per vraag of het antwoord goed of fout is. De optie ‘weet ik niet’ is altijd een fout antwoord. De waarden ja, nee en weet ik niet zijn in SPSS omgezet naar de waarden: (1) een goed antwoord of (0) een fout antwoord. In bijlage 10 staan alle antwoorden. De data is uiteraard niet normaal verdeeld. Bij de toepassing van de statistische toetsen zijn er non-parametrische toetsten gebruikt.
3.8.2 ANTWOORDTIJDEN
In de data met antwoordtijden is gekeken naar de verdeling van de data door middel van histogrammen. De resultaten van de antwoordtijden blijken normaal verdeeld te zijn. De histogrammen zijn opgenomen in bijlage 9. In de data met antwoordtijden zitten uitbijters. Er bestaat geen eenduidige definitie van wat een uitbijter is. Het bepalen of een meetwaarde een uitschieter is, is bijgevolg subjectief (Baarda e.a., 2007). Het betreft in ieder geval waarden die buiten een bepaalde grens liggen. Een vaak gebruikt criterium stelt dat een meetwaarde die meer dan drie standaarddeviaties van het gemiddelde ligt, een uitschieter is. Een waarde wordt als uitschieter beschouwd als de antwoordtijd hoger dan het gemiddelde plus drie maal de standaardafwijking ofwel als de antwoordtijd kleiner is dan het gemiddelde min drie maal de standaardafwijking. Omdat uitbijters effect hebben op de resultaten, zijn de uitbijters verwijderd uit de data. Per vraag zijn te uitschieters verwijderd. In bijlage 11 staan de antwoordtijden per vraag en de uitbijters zijn rood gemarkeerd.
30 3.8.3 BEREKENEN ERVARING
Aan de deelnemers is gevraagd wat hun ervaring is met computer-gemedieerde gesprekken is. Ervaring kan men hebben door (i) het regelmatig lezen van computer-gemedieerde groepsgesprekken en/of (ii) regelmatig actief deelnemen aan computer-gemedieerde groepsgesprekken. De volgende type vragen zijn aan de onderzoeksdeelnemers gesteld:
1. in welke mate (nooit; jaarlijks; maandelijks; wekelijks; dagelijks) ze actief deelnemen aan groepsgesprekken op Facebook, WhatsApp, Reddit, chat-applicaties en discussie-sites; 2. in welke mate (nooit; jaarlijks; maandelijks; wekelijks; dagelijks) ze groepsgesprekken lezen
op Facebook, WhatsApp, Reddit, chat-applicaties en discussie-sites.
De items kunnen beantwoord worden op een schaal van 1 (nooit) tot 5 (dagelijks). Dit resulteert per online platform in een score van 1 tot 5. Aan de hand van deze scores is berekend in welke groep de onderzoeksdeelnemers vallen. De onderzoeksdeelnemers werden onderverdeeld in (i) ervaren en (ii) niet ervaren onderzoeksdeelnemers. Een onderzoeksdeelnemer is ervaren vanaf een gemiddelde schaal van 3. Hierbij is het gemiddelde van vraag 1 en vraag 2 samen genomen. De berekening om onderzoeksdeelnemers onder te verdelen in deze twee groepen is opgenomen in bijlage 2. 3.8.4 DEELVRAGEN
In dit onderzoek zijn er acht deelvragen. Deelvragen 1 – 4, 7 en 8 betreffen objectieve metingen, deelvragen 5 en 6 subjectieve. Hieronder wordt per deelvraag toegelicht hoe de gegevens zijn op significante verschillen zijn getest.