• No results found

Stagebegeleider: Dr. I. F. van der Sluis

N/A
N/A
Protected

Academic year: 2021

Share "Stagebegeleider: Dr. I. F. van der Sluis "

Copied!
82
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

STAGEVERSLAG

Naam: Charlotte Vijfvinkel

Studentnummer: 2811618

Stagebegeleider: Dr. I. F. van der Sluis

Opdrachtgever: Prof. dr. G. Redeker

(2)

Inhoudsopgave

1. Stageopdracht Pagina 3

2. Leerdoelen Pagina 3

3. Algemene beschrijving werkzaamheden Pagina 4

4. Evaluatie Stage Pagina 6

Bibliografie Pagina 8

Bijlagen

- Bijlage 1: Logboek Pagina 9

- Bijlage 2: Annotatieschema PAT Pagina 17

- Bijlage 3: Video-annotatieschema Pagina 26

- Bijlage 4: Vergelijking PAT/ annotatieschema video Pagina 38

- Bijlage 5: Corpus eerstehulpvideo’s Stage Pagina 42

- Bijlage 6: Meta Informatie 112BHV Rautek Pagina 48

- Bijlage 7: Meta Informatie Oranje Kruis Stabiele Zijligging Pagina 49

- Bijlage 8: Pilot Study Pagina 50

- Bijlage 9: Output Pilot Study 112BHV Rautek Video Pagina 52

- Bijlage 10: Output Pilot Study Oranje Kruis Stabiele Zijligging Video Pagina 55

- Bijlage 11: Vergelijking Annotators 112BHV Rautek Pagina 61

- Bijlage 12: Vergelijking Annotators Oranje Kruis Stabiele Zijligging Pagina 64 - Bijlage 13: Bijdrage organisatie workshop Video Annotation Pagina 69 - Bijlage 14: PowerPoint Slides Workshop Video Annotation Pagina 70

- Bijlage 15: TABU Abstract Pagina 78

- Bijlage 16: Masterscriptievoorstel Pagina 79

(3)

1. Stageopdracht

De stageopdracht die voorgaand aan deze stage geformuleerd was luidt als volgt:

"Deze stage heeft als doel een bijdrage te leveren aan het CLCG onderzoek in het PAT project (Pictures en Text). In PAT wordt momenteel gewerkt aan de beschrijving van videomateriaal waarin eerste hulp instructies gepresenteerd worden. De stage betreft het werk aan de annotatie van en de uitbreiding van een videocorpus met eerstehulpinstructies. Het annotatiemodel om de video’s te beschrijven is al ontwikkeld, maar zal nog beter getest moeten worden.

Analyse van het corpus en rapportage van de bevindingen horen ook bij de stage. De uitkomst van het stageonderzoek zal een uitgangspunt opleveren voor nader onderzoek in een masterscriptie traject."

De stageopdracht is tijdens het stageproces enigszins gespecificeerd. Zo is het huidige video- annotatieschema dat ontwikkeld is door Borger (2018) allereerst vertaald naar het Engels en het schema is aanpast (en uitgebreid) zodat dit schema geïmplementeerd kon worden in het programma ELAN (ELAN version 5.2, 2018). Er is een template ontwikkeld waardoor het mogelijk werd om eerstehulpinstructievideo’s te analyseren in ELAN. Uiteindelijk is zowel de implementatie van het schema en de functionaliteit van deze template onderzocht middels een Pilot Study. Tot slot is er een bijdrage geleverd aan de workshop Video Annoation die heeft plaatsgevonden op 12 April 2018 en is er een abstract geschreven en ingediend voor de deelname aan de 38

ste

editie van de linguïstische conferentie ‘TABU’ die plaats zal gaan vinden op 22 juni 2018.

2. Leerdoelen

Voorafgaande aan de stage heb ik voor mijzelf de volgende doelen opgesteld:

1) Vaardigheden ontwikkelen voor video-analyse 2) Leren werken met het programma ELAN.

3) Analyseren van het corpus o.b.v. annotaties

4) Bijdrage leveren aan onderzoek naar de samenhang tussen tekst en beeld in instructievideo’s

5) Ervaring opdoen en oefenen in het rapporteren van een onderzoek.

(4)

3. Algemene beschrijving werkzaamheden

Om te beginnen heb ik op Google een teamdrive aangemaakt waar zowel mijn stagedocente (mevrouw van der Sluis) als mijn opdrachtgever (mevrouw Redeker) toegang toe hadden. Op deze manier konden zij mijn werkzaamheden op elk gewenst moment inzien. Tevens hield ik op deze drive mijn logboek bij waar ik voorafgaande aan elke nieuwe stageweek mijn planning plaatste om vervolgens per dag te noteren of ik ook aan deze werkzaamheden toegekomen was en anders een verantwoording van eventuele andere taken waar ik aan gewerkt had (zie Bijlage 1). Daarnaast hield ik ook een apart document bij met vragen en opmerkingen zodat deze onderwerpen besproken konden worden tijdens een toekomstige bespreking of, wanneer er geen afspraak in het verschiet stond, mevrouw van der Sluis of mevrouw Redeker in het document een antwoord konden plaatsen wanneer zij daar tijd voor hadden.

In de eerste fase van mijn stage stond voornamelijk het video-annotatieschema centraal. Er was al een video-annotatieschema ontwikkeld tijdens een master afstudeertraject door Alise Borger (Borger, 2018). Dit annotatieschema was geschreven in het Nederlands en mijn eerste opdracht was om dit schema te vertalen naar het Engels. Na het vertalen van het schema leek het de opdrachtgever en stagedocente van belang dat het video-annotatieschema zo gelijk mogelijk in terminologie en beschrijving gehouden werd aan het annotatieschema van de PAT- workbench (zie Bijlage 2). Beide annotatieschema’s zijn work in progress. Daarom is het vertaalde video-annotatieschema ontwikkeld door Borger (2018) vergeleken met het annotatieschema van de PAT-workbench. De verschillen heb ik verwerkt in een document (zie Bijlage 4) zodat mijn stagedocente en opdrachtgever beslissingen konden nemen over welke terminologie en beschrijvingen het geschiktst zouden zijn voor zowel het annotatieschema van de PAT-workbench als het video-annotatieschema. Vervolgens heb ik aan de hand van deze beslissingen aanpassingen verricht in zowel het video-annotatieschema als het annotatieschema voor de PAT-workbench.

Nadat het video-annotatieschema vertaald en gecontroleerd was a.d.v. de PAT-workbench ben ik begonnen aan de implementatie van het schema in het programma ELAN (ELAN version 5.2, 2018).

Hiervoor heb ik eerst diverse (YouTube) video’s gekeken en handleidingen gelezen om meer vat te krijgen op alle mogelijkheden die het programma kent en ben ik vervolgens samen met mevrouw Redeker begonnen aan de ontwikkeling van de template. Tijdens dit proces heb ik literatuur geraadpleegd over filmtechnieken (Lievaart, 2007). In het schema van Borger (2018) was er al wel de mogelijkheid om bepaalde beeldinformatie over shots en filmtechnieken te annoteren maar uit de literatuur bleken niet alle terminologieën en beschrijven juist. Met name het boek van Lievaart (2007) bleek nuttige informatie te beschikken over de verschillende soort shots die er gebruikt kunnen worden in video’s en de verschillende technieken om tussen shots te wisselen. Deze informatie is vervolgens aanpast en opgenomen in het video-annotatieschema en geïmplementeerd in ELAN. Ook heb ik een groot corpus samengesteld bestaande uit eerste hulp instructievideo’s (in totaal 43 video’s) om deze vervolgens allemaal te bekijken en kort te analyseren. Dit zodat er geen nieuwe onderwerpen (bijvoorbeeld andere beeldtechnieken of shots) in de video’s te vinden waren die nu niet in het annotatiemodel opgenomen zijn (zie Bijlage 5).

Mevrouw Redeker en ik hebben vervolgens in ELAN een template ontwikkeld die bestaat uit drie onafhankelijke ‘tiers’ namelijk: Spoken text (Gesproken tekst), Image (Beeld) en Written Text (Geschreven Tekst). Vervolgens hebben wij aan elke tier voornamelijk dezelfde afhankelijke tiers gekoppeld namelijk: Global Structure (Documentindeling), Action Type (Handelingstype), Action Status (Handelingsstatus), Action Aspect (Handelingsaspect) en Control Information (Controle informatie). Voor de onafhankelijke tier Image zijn er nog een aantal beeldspecifieke annotatie mogelijkheden toegevoegd namelijk: Shot Size (Shot grootte), Number of Persons (Aantal personen in het shot), Image Technique (Beeldtechnieken) en Added Elements (Toegevoegde elementen).

Nadat wij de template voor ELAN hadden afgemaakt, en ik hierdoor nog enkele wijzigingen had

aangebracht aan het video-annotatieschema, heeft er een Pilot Study plaatsgevonden om te

onderzoeken of het analyseren van video’s binnen ELAN met de ontwikkelde template en het video-

annotatieschema naar behoren functioneerde. Hierbij hebben drie annotators in totaal twee eerste

hulp instructievideo’s geannoteerd in ELAN en zijn deze resultaten met elkaar vergeleken en

geanalyseerd (zie Bijlage 6, Bijlage 7 en Bijlage 8). De video’s waren afkomstig van twee

verschillende organisaties (112BHV en het Oranje Kruis) en betroffen ook twee verschillende eerste

(5)

hulp handelingen, namelijk de rautekgreep vanaf de grond en de stabiele zijligging). De resultaten van deze Pilot Study hebben bijgedragen aan nog enkele wijzigingen in het video-annotatieschema en te template voor Elan (zie Bijlage 3 voor de definitieve versie van het video-annotatieschema).

Tot slot is er een abstract geschreven voor de linguïstische conferentie TABU-dag 2018 en is deze

geüpload op de website van TABU om kans te maken op een deelname aan deze conferentie (zie

Bijlage 15). En heb ik bijgedragen aan de voorbereidingen en geven van een workshop Video-

Annotation die heeft plaatsgevonden op 12 April 2018 (zie Bijlage 13).

(6)

4. Evaluatie Stage

Leerdoel 1: Vaardigheden ontwikkelen voor video-analyse.

Mijn eerste leerdoel ‘Vaardigheden ontwikkelingen voor video-analyse’ heeft een prominente rol gehad tijdens mijn gehele stageonderzoek. Zoals aangeven in dit verslag ben ik begonnen met het vertalen en het verbeteren van het video-annotatieschema (zie Bijlage 3 voor de definitieve versie), daarna ben ik begonnen met het ontwikkelen van een template dat het analyseren van eerste hulp instructievideo’s binnen ELAN mogelijk maakt. En tot slot daadwerkelijk een tweetal video’s te analyseren tijdens een Pilot Study (zie Bijlage 6, Bijlage 7 en Bijlage 8). Ik durf daarom wel voorzichtig te concluderen dat ik veel tijd (en energie) gestoken heb in mijn eerste leerdoel en dus zeker vaardigheden ontwikkeld heb voor video-analyse. Ik wil deze vaardigheden optimaal gaan benutten, en verder ontwikkelen, tijdens mijn scriptietraject aangezien ik daar 15 eerste hulp instructievideo’s wil gaan analyseren (zie voorstel masteronderzoek Bijlage 16).

Leerdoel 2: Leren werken met ELAN.

Mijn tweede leerdoel was het leren werken in het programma ELAN. Ook dit leerdoel heeft tijdens een groot gedeelte van mijn stagetraject centraal gestaan. Ik ben meteen begonnen met het leren kennen van het programma en alle mogelijkheden tijdens de eerste stage week door het zoeken, en lezen, van een geschikte handleiding voor MacBook. Daarna heb ik vele instructievideo’s gekeken die werden aangeboden door verschillende universiteiten en organisaties op YouTube om te ontdekken hoe het programma er uitziet zodat ik een idee kon gaan vormen over het implementeren van het video-annotatieschema. Uiteindelijk ben ik samen met mevrouw Redeker gaan werken aan de template en heeft er een Pilot Study plaatsgevonden om deze template, het annoteren in ELAN en het video-annotatieschema te valideren.

Leerdoel 3: Analyseren van het corpus o.b.v. annotaties

Tijdens deze Pilot Study kwam ook toe aan mijn derde leerdoel, (analyseren van het corpus o.b.v.

annotaties). In Bijlage 11 en Bijlage 12 zijn de vergelijkingen van de annotaties van drie verschillende annotators terug te vinden. Echter zal de focus tijdens mijn masteronderzoek nog meer liggen op het analyseren van het corpus o.b.v. annotaties aangezien ik dan 15 eerste hulp instructievideo’s ga annoteren om deze vervolgens te kunnen analyseren. Tijdens het stageonderzoek stond het valideren van het annotatiemodel en de template centraal zodat ik tijdens mijn masteronderzoek hier gebruik van kan gaan maken. Kortom er is een begin aan mijn derde leerdoel is echter wil ik hier nog aan verder gaan werken tijdens het vervolgtraject van mijn masteronderzoek.

Leerdoel 4: Bijdrage leveren aan onderzoek naar de samenhang tussen tekst en beeld in instructievideo’s

Het werken aan mijn vierde leerdoel blijkt uit het verder werken aan het annotatieschema dat tijdens eerder onderzoek is ontwikkeld (het video-annotatieschema dat ontwikkeld is door Borger, 2018), de vergelijking tussen het video-annotatiemodel en het annotatiemodel voor statische instructies (zie Bijlage 4) waarbij de resultaten van de vergelijking hebben geleid tot zowel wijzigingen in het video- annotatieschema als in het huidige annotatiemodel voor statische instructies dat momenteel gebruikt wordt op de PAT-workbench. Daarnaast is de template gepresenteerd tijdens de workshop over Video-annotation op 12 april (zie Bijlage 13 en Bijlage 14) en is er een abstract geschreven voor aanstaande de linguïstische conferentie ‘TABU’ (zie Bijlage 15).

Leerdoel 5: Ervaring opdoen en oefenen in het rapporteren van een onderzoek.

Aan mijn vijfde leerdoel heb ik tijdens deze stage uiteraard gewerkt tijdens de verslaglegging van mijn onderzoeksresultaten. Voornamelijk tijdens de Pilot Study heb ik tijdens het rapporteren van de resultaten hier een goed begin aan kunnen maken. Net zoals de andere leerdoelen ga ik hier tijdens mijn masterscriptietraject uitgebreid mee verder.

Toekomstig masterscriptietraject

Naast het werken aan mijn leerdoelen was het de bedoeling dat mijn stageonderzoek een

uitgangspunt zou opleveren voor nader onderzoek in mijn masterscriptietraject. Daarom is in Bijlage

16 mijn masteronderzoeksvoorstel opgenomen. Naast het onderzoeken en analyseren van eerste

hulp instructievideo’s wil ik tijdens dit onderzoek ook het video-annotatieschema perfectioneren. Er

ontbreken, zoals te zien in Bijlage 3, nog enkele voorbeelden bij een aantal definities. Tijdens de stage

ben ik helaas niet voor elke definitie op een geschikt voorbeeld gestuit maar aangezien ik tijdens mijn

(7)

masteronerzoek 15 video’s wil gaan analyseren leek mij dit een geschikt moment om attent te blijven

op voorbeelden en bij het vinden van geschikte voorbeelden deze dan toevoegen aan het video-

annotatieschema. Daarnaast wil ik tijdens dit traject nog een handleiding/manual ontwikkelingen

specifiek voor het analyseren van eerste hulp instructievideo’s in ELAN. Momenteel zijn er natuurlijk al

diverse handleidingen over ELAN in omloop waarin vaak alle mogelijkheden die het programma kent

worden besproken. Daarnaast biedt het ontwikkelde video-annotatieschema een beknopte uitleg,

ondersteund door diverse voorbeelden, over het toepassen van de template en welke informatie

geannoteerd dient te worden onder welke tier. Alleen ontbreekt het nog aan een combinatie tussen

beide: een handleiding over het gebruik van ELAN inclusief voorbeelden die specifiek gericht zijn op

eerste hulp instructies. De handleiding/manual die ik tijdens mijn scriptietraject wil ontwikkelen zal

specifiek uitleg en informatie geven over het annoteren binnen ELAN via de ontwikkelde template

(bijvoorbeeld: welke handleidingen/stappen dient men te volgen voorafgaande aan het

annotatieproces) en wil ik daarnaast extra diepgang en informatie aanbieden waar nodig

(bijvoorbeeld: meer uitleg en voorbeelden toevoegen om de verschillen duidelijker te maken tussen de

verschillende subcategorieën van Control Information).

(8)

Bibliografie

Borger, A.C. (2018). Een onderzoek met een gebruiksaanwijzing. Multimodale analyse van EHBO instructievideo’s. MA Thesis, Communication and Information Sciences, University of Groningen.

Borger, A.C., Van der Sluis, I., & Redeker, G. (2018b). Multimodale analyse van EHBO

instructievideo’s. Poster presented at the 28

th

Anéla/VIOT Juniorendag, Tilburg, 20 April 2018.

ELAN (Version 5.1) [Computer software]. (2017, April 18). Nijmegen: Max Planck Institute for Psycholinguistics. Retrieved from https://tla.mpi.nl/tools/tla-tools/elan/

ELAN (Version 5.2) [Computer software]. (2018, April 18). Nijmegen: Max Planck Institute for Psycholinguistics. Retrieved from https://tla.mpi.nl/tools/tla-tools/elan/

Lievaart, R. (2007) Films maken: alles over het maken van speelfilms, documentaires en bedrijfsfilms op video (6e druk) Amsterdam: QQleQ Dramaprodukties 


PAT Project (n.d.). https://www.rug.nl/research/clcg/research/dc2017_/dcresearchprojects/pat/

Van der Sluis, I., Eppinga, A. & Redeker, G. (2017). Text-Picture Relations in Multimodal Instructions.

In Nicholas Asher, Julie Hunter, & Alex Lascarides (eds.), Proceedings of the Workshop on

Foundations of Situated or Multimodal Communication (FMSC) at IWCS 2017.

(9)

Bijlage 1: Logboek

Week 1 Stage Ma 5 feb - Vr 9 feb 2018

Datum Planning Resultaat/Notities

Maandag 5 februari 2018

Vertalen Annotatieschema Ziek

Dinsdag 6

februari 2018 Drive openen Beginnen vertalen Annotatieschema

Teamdrive gestart op Google Drive waar zowel mevrouw van der Sluis en mevrouw Redeker toegang toe hebben zodat ze kunnen ten alle tijden mijn werk in kunnen zien.

Vertaling annotatieschema tot pagina 4.

Woensdag 7 februari 2018

Vertaling annotatieschema afronden

Handleiding zoeken ELAN voor Mac

Afgerond Annotatieschema Engels.

Begonnen met handleiding ELAN: Naast .MP4 dient er ook een .WAV bestand geüpload worden.

Programma’s aangeschaft om van de .MP4 bestanden van het Oranje Kruis ook .WAV bestanden

Geluidsspoor van beeld kunnen scheiden: terug te vinden op de Drive.

Alise had ik gevraagd of ik juiste instructies had geüpload op de drive: Zij gaf aan dat dit geval is maar dat zij niet de laatste instructie had gebruikt: de video over de verstikking van de zuigeling heb ik niet meegenomen in mijn corpus, omdat deze video afkomstig is van de Nederlandse Reanimatie Raad en dus een andere presentatie heeft. Dus hier heb ik geen annotaties van. Het is denk ik niet slim om deze video mee te nemen. Door alleen de video's van het Oranje Kruis mee te nemen, krijg je een algemeen beeld van die video's’: Dus in eerste instantie van deze videobeeld en geluid nog niet gescheiden.

Donderdag 8 februari 2018

Instructie uploaden in ELAN.

Uitzoeken wat van belang is voor stageverslag.

.MP4 & .WAV bestand Stabiele Zijligging video succesvol geüpload in ELAN.

In handleiding nagekeken welke mogelijkheden ELAN kent.

Ik zie geen WavePad en in de handleiding wordt verwezen naar .WAV bestanden: dus converteren van mijn geluidsbestanden om te kijken of dit verschil maakt. → Zie ik wel een WavePad maar hoor ik niks meer: Kan wel ook 3 bestanden koppelen: Dan hoor ik het en zie ik wavepad.

Video ook omgezet zoal aangeraden is: Maakt tot nu toe geen verschil.

Gelukt om Annotatie in te voegen: Alleen dan zowel voor geluid als beeld:

nog niet enkel.

Vrijdag 9 februari 2018

14:00 Overleg: Vertaalde versie van annotatieschema bekeken, naar de vragen en een planning gemaakt voor aanstaande week.

Voorafgaande aan het gesprek even de antwoorden van mevr. Redeker en mevr. Van der Sluis bekeken: kijken of ik aan de hand daarvan nog vragen heb: deze genoteerd.

Instructievideo’s van ELAN gekeken en daarnaast geprobeerd deze handelingen zelf ook uit te voeren.

(10)

Week 2 Stage Ma 12 feb - Vr 16 feb

Datum Planning Resultaat

Maandag 12 februari 2018

Terminologie gebruikt in video- annotatieschema vergeleken met PAT- workbench vergeleken

Vergelijken vertaald annotatieschema Engels met PAT-workbench: Vandaag suggesties of opmerkingen mailen (dus zorgen dat terminologie zoveel mogelijk overeenkomt)

Alise gemaild over de bijlage van haar scriptie met een beschrijving van implementatie annotatieschema Anvil met verzoek of zij deze met mij wil delen.

Annotatieschema offline gehaald; in docs werken is echt vervelend: maar zet deze er aan het einde van de dag op.

Nu bij AnnotatieschemaEngels: zwart gelaten wat de vertaling van het schema van Alise is: En rood wat erop Pat-Workbench staat. Apart document met vragen/opmerkingen (mail het als ik klaar ben, en maak er ook een docs van de drive zodat iedereen in hetzelfde document kan werken).

Zit best veel verschil tussen PAT & schema Alise: moeten denk ik even kijken of er een beschrijving zowel kan worden voor statisch als dynamisch en als er te veel verschil zit: meest geschikte optie kiezen.

Filmtechnisch klopt het zowel bij PAT als bij vertaling nog niet helemaal: daarvoor heb ik nu suggesties gedaan maar ik heb hierbij gebruik gemaakt van onlinebronnen & Lievaart.

Een nieuwe versie van het Engelse annotatieschema online gezet waarbij in rood de terminologie en uitleg van PAT is weergeven + apart document met opmerkingen/suggesties.

Dinsdag 13 februari 2018

Literatuur filmboeken raadplegen om te kijken voor logische hiërarchie: shot, perspectief en techniek om deze eventueel toe te voegen aan annotatieschema.

Feedback op opmerkingen/suggesties bekeken en op gereageerd.

Op Smartcat en online zoeken naar literatuur over filmtechniek:

shots en perspectief. Het boek films maken vind ik nog het duidelijkst: Hieruit blijkt dat Tilt voor een verticaal perspectief niet helemaal juist is. In mapje Literatuur heb ik een samenvatting gegeven.

Instructievideo’s ELAN opzoeken en bekijken.

Annotatieschema voor mastervak aanpassen a.d.h.v.

suggesties en opmerkingen. (Zie Bijlage) Woensdag

14 februari 2018

AnnotatieschemaEngels aanpassen zodat

deze overeenkomt met PAT. PAT vergelijken met Engelse versie video analyses en waar dit niet kan opmerkingen plaatsen. Ik merk dat ik over best veel dingen twijfel dus misschien handig om hier vrijdag samen naar te kijken en keuzes te maken waar het wel of niet handig is om de beschrijving op PAT over te nemen.

Drive opruimen: zijn nu veel dubbele bestanden: even degene behouden die van belang zijn

.

Donderdag 15 februari 2018

YouTube instructies ELAN kijken en daar meer handigheid in krijgen.

Ik voel mij sinds gisteren al echt niet fit maar vandaag gaat het echt niet.

Vrijdag 16 februari 2018

14:00 Overleg: Planning maken voor komende week

Ziek

(11)

Week 3 Stage Ma 19 feb - Vr 23 feb

Datum Planning Resultaat

Maandag 19 februari 2018

Meeting 13:00 Veel besproken over het video-annotatieschema: terminologie en logische opbouw voor ELAN.

Planning besproken voor komende week: Vooral de focus op kennismaken en leren werken met Elan. Nogmaals de instructiefilms bekijken en eventueel aanvullende films zoeken.

Nieuwe afspraak gemaakt voor 5 maart 2018 om 13:00 Dinsdag 20

februari 2018

Verdiepen in ELAN Zoveel mogelijk filmpjes gezocht en gekeken. Daarnaast proberen

‘mee te doen’ in ELAN zelf.

Woensdag 21 februari 2018

Verdiepen in ELAN YouTube tutorials gekeken en daarbij op inzichtelijke handleiding gestuit.

In ELAN tip opgevolgd van mevr. Redeker om originele Oranje Kruis bestand in te laden met daarbij een WAV, Dit werkt inderdaad beter dan beeld zonder geluid.

Het is denk ik wel handig dat de handleiding zo snel mogelijk afkomt want de instructiefilms en handleidingen bieden alle hulp alleen het beste kan ik gewoon beginnen met het annoteren en implementeren van de handleiding in ELAN: daarvoor is een zo definitief mogelijke handleiding wel zo prettig

In de handleiding staan ook onderdelen die niet in ELAN verwerkt worden (althans denk ik): bijvoorbeeld Preliminary: of hoe zou je die informatie moeten weergegeven in ELAN?

Donderdag 22 februari 2018

Verbeteren in Annotatieschema a.d.h.v. ELAN + uitzoeken hoe dit kan worden vormgegeven met de tiers.

(hiërarchisch gezien)

Bezig met annotatieschema. Schriftelijk ELAN getekend om te kijken of de instructie zou passen in ELAN. Daarnaast een ‘nieuwe’ versie aan het maken van het annotatieschema (loop tegen aantal zaken aan en proberen wat werkt en niet)

Het schema begint nu bijvoorbeeld met story structure: maar is dat een aparte categorie of hoort dit onder image? De voorbeelden die gegeven worden in het schema van Alise lijkt het alsof het onder image zou moeten horen.

In het nieuwe schema heb ik 2 opties gelaten (zwart oude beschrijving & rood PAT-beschrijving): daar kon ik niet kiezen tussen welke beschrijving het meest geschikt is.

Nieuwe schema afgerond en vragen genoteerd in ‘Vragen meeting 5 maart’.

Samen met mevr. Redeker en mevr. Van der Sluis naar het nieuwe schema gekeken.

Vrijdag 23

februari 2018 Verder met annotatieschema.

Voornamelijk zoeken naar geschikte voorbeelden bij elke Parent Tier.

Update versturen naar mevr. Van der Sluis en mevr. Redeker.

Suggesties aanpassen van mevr. Van der Sluis en mevr. Redeker.

Voornamelijk nieuwe voorbeelden zoeken.

Annotatieschema offline gehaald om wijzigingen aan te brengen en wanneer ik klaar ben weer online te zetten.

(12)

Week 4 Stage Ma 5 Maart - Vr 9 Maart 2018

Datum Planning Resultaat

Maandag 5 maart 2018

Meeting 13:00 met mevr. Redeker en mevr. Van der Sluis Meeting gaat niet door i.v.m. ziekte mevr. Van der Sluis

Feedback bekeken annotatieschema tot waar dit kan.

Dinsdag 6

maart 2018 Afspraak met mevrouw. Redeker voor ELAN om 13:00 Bezig geweest met het creëren van de template.

Woensdag 7

maart 2018 Afspraak met mevrouw. Redeker om verder te werken aan de

template 10:30 Verder gewerkt in ELAN. Alle Parent Tiers +

Dependent Tiers grotendeels afgerond: alleen specifieke Tiers bijbehorend bij Image moeten nog worden bekeken (daarvoor moet eerst een aantal beslissingen gezamenlijk worden genomen)

Annotatieschema aangepast: versie gedownload van de Drive en verbeterd.

Onder andere dat deze gelijk loopt qua volgorde (tussen Image, Voice-Over & Text:

beginnen met de tiers die bij al deze categorieën voorkomen)

Besloten Content Presentation te verwijderen

Words -- Added Elements te verwijderen (komt terug in Written Text)

Split Screen hoort bij Image Technique in plaats van Shots

Donderdag

8 maart 2018 Literatuur raadplegen over Shots & technieken: inhoud en definitie & kenmerken verder nog interessant zouden kunnen zijn (Waarvan je kan verwachten dat ze een rol spelen bij begrijpelijkheid, aantrekkelijkheid en uitvoerbaarheid van de instructie).

Verder meer EHBO-instructiefilms gezocht voor het Corpus en wat opvalt is dat het OK eigenlijk een dominante en consistente huisstijl hanteert (De witte achtergrond + een watermerk van het logo). Wat ik verder zie in instructiefilms is dat er altijd een vrij drukke achtergrond is. Wil nog meer instructiefilms bekijken om te kijken of er nog meer verschillen zitten tussen de instructiefilms.

Literatuur geraadpleegd (voornamelijk het boek Films maken - Lievaart, docent UVA).

Aantal eventuele toevoegingen gevonden op huidige annotatieschema:

Single, Two of Three Shot: hoeveel personen er in het beeld bevinden.

Ook zijn er meer kaders (Shots) mogelijk Kneeshot, Medium Close, Klein medium, Extreme Close-Up.

Perspectief: Kikvorsperspectief of vogelperspectief. Perspectief kan ook objectief of subjectief zijn (vanuit iemand standpunt of niet: POV’s point of view) Vrijdag 9

maart 2018 Meeting met mevr. Redeker en wellicht mevr. Van der Sluis om 13:00: vragen bespreken die genoteerd zijn.

Meer EHBO-instructiefilms zoeken voor corpus + bekijken om inspiratie op te doen voor o.a. Scriptie.

Afspraak ging niet door i.v.m. drukke agenda’s van iedereen: verplaatst naar aanstaande maandag.

Verder gegaan met het zoeken en analyseren instructiefilms: zie tabel Drive

(13)

Week 5 Stage Ma 12 Maart - Vr 16 Maart 2018

Datum Planning Resultaat

Maandag 12 maart 2018

Afspraak om 13:00 Bevindingen film technische literatuur besproken en besloten Single shot, Two shot en Three shot toe te voegen aan het annotatieschema.

Verder besloten dat huisstijl + het beschrijven van ‘de omgeving’

(de achtergrond: bijvoorbeeld of de opname een studie setting kent of meer een realistische setting) toe te voegen bij Meta informatie.

In ELAN waren nog niet alle tiers bij Image ingevoerd aangezien de informatie nog gecontroleerd (a.d.v. literatuur) + een en ander besproken moest worden (toevoegingen + informatie dus nu naar Meta-informatie verplaatst is): Alle Tiers toegevoegd met hulp van mevr. Redeker en klaargemaakt voor de pilotstudie.

Komende dagen ga ik 2 instructies annoteren om te kijken of ik nog op problemen stuit binnen ELAN of het annotatieschema.

Dinsdag 13 maart 2018

Pilot study: Segmentaties aanbrengen in beide video’s.

Gekozen om te beginnen met video van 112BHV met onderwerp Rautek. Video gedownload + muziek .WAV-bestand.

Template van ELAN opgeslagen (succesvol) en ook op de drive geplaatst in mapje ELAN.

Nieuw document in ELAN aangemaakt: template geopend + .WAV + .MP4: succesvol geopend.

Meta informatie kan niet worden toegevoegd in ELAN dus daarvoor apart Word document aangemaakt.

In overleg met mevr. Redeker en mevr. Van der Sluis: eerst voor beide video’s alleen de Parent Tiers segmenteren en deze bestanden op de Drive plaatsen. (Wel de gesproken tekst genoteerd in de segmentaties) Dit zodat zij eventueel de annotaties parallel kunnen annoteren om te kijken of zij tot dezelfde conclusies komen.

Woensdag 14 maart 2018

Pilot study: Annoteren video Rautek 112 BHV.

Annotaties van de video Rautek afgerond.

Donderdag 15 maart 2018

Eventueel afspraak met mevrouw Redeker om de bevindingen te

bespreken van de pilotstudie. Mocht deze nog in volle gang zijn dan verplaatst deze afspraak naar maandag de 19e.

Afspraak niet doorgegaan: verder gegaan met annoteren video OK stabiele zijligging.

Doordat mijn laptop leeg is gelopen terwijl ik ELAN nog niet opgeslagen had zijn mijn annotaties voor OK-video grotendeels weg. Hierdoor moet ik opnieuw beginnen, voor een groot deel, met annoteren

Vrijdag 16 maart 2018

Verslaglegging Pilotstudy Door verlies van annotaties OK-video opnieuw begonnen met annoteren.

(14)

Week 6 Stage Ma 19 Maart - Vr 23 Maart 2018

Datum Planning Resultaat

Maandag 19 maart 2018

Meeting om 13:00 - 14:30 Bespreken wat handig is om mee bezig te gaan voor komende week

TABU abstract: besproken dat we daar volgende week (26-30 maart) mee bezig gaan aangezien daarvoor eerst mijn idee concreter moet worden voor afstuderen.

Dinsdag 20 maart 2018

Afronden Pilot Study: Annotatie voor OK-video afronden.

Annotaties van OK-video afgerond. Overlegd via de e-mail over hoe het beste acties bij Image geannoteerd kunnen worden: o.b.v. mijn annotaties voor de acties nog aangepast.

Woensdag 21 maart 2018

Controleren annotaties & vervolgens op de Drive zetten.

Bezig met controleren van mijn annotaties van beide video’s. Merk wel dat hoe langer je ernaar kijkt: hoe meer je erover gaat twijfelen dus besloten het even te laten rusten en alvast verder te gaan met idee voor mijn scriptie.

Mijn Bachelor scriptie van vorig jaar doorgenomen om te kijken in hoeverre het plan dat ik destijds heb uitgevoerd eventueel ook zou kunnen werken voor mijn nieuwe idee.

Donderdag 22

maart 2018 Idee concreet maken afstuderen:

Ook kijken naar Bachelor scriptie om te kijken wat daarvan bruikbaar is.

Document opgesteld met mijn idee voor de masterscriptie tot nu toe.

Vrijdag 23 maart 2018

Idee concreet maken afstuderen: 1 A4 ongeveer.

Document met idee masterscriptie afgerond (en op de Drive gezet + gemaild)

Literatuur wat ik destijds tijdens mijn scriptie gebruikt heb opgezocht.

Annotaties nogmaals doorgenomen en de eindversies op de Drive gezet.

Week 7 Stage Ma 26 Maart - Vr 30 Maart 2018

Datum Planning Resultaat

Maandag 26

maart 2018 Vergelijken annotaties Raukte video + document idee scriptie.

Vergelijking voor de Rautek video afgerond: document op de Drive geplaatst.

Idee voor scriptie zo goed als voor nu mogelijk is. Ook op de drive geplaatst en samen met studie + Output Spoken Text voor alle annotators. (Ook gemaild naar mevr. v/d Sluis en mevrouw Redeker.

Dinsdag 27 maart 2018

Meeting om 13:00 - 14:30: Afstudeerplan concreet maken.

Meenemen document met kort en bondig wat mijn idee is voor afstuderen.

Scriptie onderwerp vastgesteld: Corpusonderzoek.

Annotaties Rautek video’s en de overeenkomsten en verschillen besproken. Aan de hand daarvan moeten nog een aantal wijzigingen worden aangebracht in het huidige annotatieschema + template ELAN. Maar eerst is het belangrijk dat de abstract voor TABU afgemaakt wordt dus vandaar eerst kijken welk corpus tijdens de scriptie centraal zal staan. Daarnaast een handleiding ontwikkelen hoe het best geannoteerd kan worden in ELAN.

Ruis moet ook nog toegevoegd worden! (Noise/Music)

Einde van de dag, uiterlijk ‘s ochtends mailen welke video’s ik voor mijn scriptie wil analyseren.

Woensdag 28 maart 2018

In het begin van de ochtend Corpus bepaald hebben voor scriptie.

Bezig met Abstract voor TABU: eventueel meeten met mevr.

Redeker.

Aan corpus gewerkt voor scriptie: veel video’s opnieuw gekeken. Keuze gemaakt qua onderwerp: Rautek auto, Rautek vanaf grond, Buikdraai en Stabiele zijligging.

Proberen om overlap te krijgen qua organisaties.

In het Nederlands belangrijke punten waarvan ik denk dat ze moeten terugkomen in abstract TABU genoteerd en alvast een introductie tekst geschreven: voorgelegd aan mevrouw van der Sluis & mevrouw Redeker om te checken of ik geen belangrijke zaken vergeet

(15)

Donderdag 29 maart 2018

Bezig met Abstract TABU + vergelijken annotaties.

Abstract TABU geüpload & verstuurd. (Zie bijlage)

Vrijdag 30 maart 2018

Deadline abstract voor TABU.

Corpus voor scriptie aanpassen: meer video’s zoeken per onderwerp Alle video’s + WAV-bestanden gedownload en op de drive geplaatst.

Verder werken aan afmaken en perfectioneren annotatieschema.

Week 8 Stage Ma 2 April - 6 April 2018

Datum Planning Resultaat

Maandag 2 april

2018 Tweede Paasdag -

Dinsdag 3 april 2018

Bezig met aanpassingen

Annotatieschema.

Eerdere ontvangen feedback verwerken en kijken hoe ik Noise/Sounds wil gaan toevoegen.

Woensdag 4

april 2018 Pilot Study afronden: vergelijkingen afronden tussen annotators voor stabiele zijligging video.

Annotaties vergeleken van de verschillende annotators en daar kort verslag over geschreven.

Donderdag 5

april 2018 2018 Stageverslag Begonnen met schrijven van body voor mijn stageverslag: welke

onderdelen erin moeten en alvast begonnen toevoegen van de bijlages. Vervolgens begonnen met schrijven

Vrijdag 6 april

2018 Nieuw annotatieschema aanbieden +

verder werken stageverslag Toegevoegd nieuwe Parent Tier Noise: waarin geannoteerd kan worden of er gepraat wordt tussen hulpverlener en slachtoffer &

of er geluiden zijn.

Achtergrondmuziek (permanent) kan geannoteerd worden in meta informatie.

Week 9 Stage Ma 26 Maart - Vr 30 Maart 2018

Datum Planning Resultaat

Maandag 9 april 2018

Meeting om 12:00 om te werken aan de workshop op donderdag 12 April

Het annotatieschema geperfectioneerd:

Wijzigingen doorgevoerd

Twee nieuwe Parent Tiers toegevoegd

Allereerst heb ik het schema aangepast, de volgorde: Spoken Text, Images &

Written Text, en het nieuwe schema staat op de Drive.

Daarna ben ik verder gaan werken in Elan. Ik ben begonnen met het aanpassen van alle Controlled Vocabularies. Deze komen nu, als het goed is, overeen met alle wijzigingen die zijn gedaan aan het schema.

Daarna heb ik naar de annotaties gekeken:

- Ik heb bij Spoken Text & Image: Preambule verandert naar Title.

- Bij Spoken Text heb ik een Situation Sketch verandert in Manner: dit moet nog wel even gekeken of dit juist is.

- Bij Image had ik meer moeite met het annoteren van Control Information: hier moeten we, denk ik, nog even kijken of het nog wel klopt.

- Bij Image Technique heb ik nog 4 Still Images geannoteerd aangezien die nog niet geannoteerd waren.

- Bij Written Text: Preambule verandert naar Title.

- Twee nieuwe Parent Tiers: Talk & Non-Speech Sounds. En binnen Non- Speech Sounds 2 x het belletje geannoteerd.

Dinsdag 10

april 2018 Annotaties & Template

aanpassen in Rautek video Binnen Elan begonnen met het bijwerken van de controlled vocabularies a.d.v.

het nieuwe annotatieschema.

(16)

en verder werken aan voorbereidingen voor workshop.

- Annotaties gecontroleerd of deze nog juist waren (Control Information, Global Structure)

- Twee nieuwe Parent Tiers toegevoegd Talk & Non-Speech Sounds.

Woensdag

11 april 2018 Meeting om 12:00 voor de

workshop. De powerpointslides voor de workshop bekeken en gecontroleerd. Ook het materiaal in Elan bekeken en besproken wat we naast de presentatie precies willen doen tijdens de workshop.

Aangezien de deelnemers verschillende interesses kunnen hebben wat betreft Elan (bijvoorbeeld ook werken met eigen materiaal zonder template) en het niet duidelijk is hoeveel deelnemers er precies zullen aanschuiven hebben we besloten om de deelnemers allereerst te introduceren met onze annotaties van de Rautek video met de template van het annotatieschema en daarbij uit te leggen wat voor mogelijkheden er zijn en hoe het annoteren precies in zijn werk gaat en daarna uit te leggen hoe je zelf een nieuw .eaf bestand aanmaakt met je eigen materiaal en hoe je begint bij het creëren van een template.

Donderdag 12 april 2018 2018

Workshop van 10:00 - 13:00

Meeting met mevr. van der Sluis

Werken aan stageverslag

De workshop was ontzettend interessant en ik vond het erg tof om aan te mogen deelnemen. Allereerst vonden er 4 presentaties plaats (waaronder de presentatie gegeven door mevr. Redeker over onze vorderingen in Elan) waarna er volgens de keuze was voor de deelnemers om deel te nemen aan een workshop. Vijf deelnemers namen uiteindelijk deel aan onze workshop.

Na de workshop kort met mevrouw van der Sluis besproken welke onderdelen belangrijk zijn voor het stageverslag. Belangrijk is nog om een scriptievoorstel toe te voegen. Deadline voor het concept van het verslag is op dinsdag 17 April (uiterlijk 17:00) en deadline voor het definitieve verslag is op 29 April.

Vrijdag 13

april 2018 Werken aan stageverslag Alle literatuur geordend en nieuwe literatuur gezocht voor mijn stageverslag &

onderzoeksvoorstel. Vervolgens verder gewerkt aan het verslag.

Deadline Concept Stageverslag: 17 April 2018

Deadline Definitief Stageverslag: 29 April 2018

(17)

Bijlage 2: Annotatieschema PAT

Annotation scheme for the description of the PAT corpus in the PAT workbench versie februari 2018

Document

Variable Values Description Example

Owner [Name] Person who uploaded and prepared the

document.

MI ID MI[number] The unique identification index of the document.

Date [dd-mm-yy] The date on which the document was added to the PAT corpus.

Topic The topic of the multimodal instruction

according to the categorisation in Het Oranje Kruis Boekje (2016).

Task The task presented in the multimodal

instruction according to the descriptions given by Het Oranje Kruis Boekje (2016).

Organisation [Name] The organisation that published the multimodal instruction.

Location [URL or ISBN] The website or book in which the multimodal instruction was published.

Picture Identifiers

Number, Letter, Title, None

Labels that identify the pictures in the multimodal instruction. Select all identifiers that occur in the document.

Picture Positioning

Top, Bottom, Left, Right, In Text

Location of the pictures in relation to the

text in the multimodal instruction. A

combination of positions can be

selected if present in the document.

(18)

Picture Type Drawings, Photographs

The type of pictorial information in the multimodal instruction. A combination of types can be selected if present in the document.

Text

Variable Values Description Example

Special Type setting

Size+, Size-, Colour, Italics, Bold,

Underlined, Other

Any markup of the text that stands out in comparison with the default font of the document. Multiple values can be selected.

Text

organisation Preambule Any text that precedes the instruction, which for instance explains how to process the multimodal instruction or how to execute the task properly.

Het ERC raadt volgende werkwijze aan om een slachtoffer in stabiele zijligging te plaatsen.

Instruction Details of the task in terms of actions and control information.

Leg de arm die het verst van je weg is zo dat je goed bij zijn hand kunt. Pak

vervolgens de arm die het dichtste bij je is. Leg deze arm zo neer zodat zijn arm en zijn lijf een rechte hoek vormen. Let erop dat je deze arm niet forceert.

Closing Any text presented after the detailing of the task has ended.

Een kind of een baby kan je op dezelfde manier in stabiele zijligging leggen. Bij een baby kan je een klein kussen of een opgerold deken achter de rug leggen.

Zo ligt hij stabieler.

Action Type Preparatory Action

Actions that can be performed before the actual task of the multimodal instruction is executed.

Als het slachtoffer een bril draagt, neem die dan af.

Core Action Actions that belong to the actual task of the multimodal instruction.

Pak het slachtoffer bij zijn

hand, en rol hem naar u toe.

(19)

Closing Action Actions that can be performed after the actual task of the multimodal instruction is executed.

Controleer de ademhaling regelmatig.

Action Status

Obligatory Action

An action that must be executed to perform the task successfully.

Kijk of er iets in de mond van het slachtoffer zit.

Alternative

Action An action that can be executed as a

replacement of another action.

Je kunt ook een

opgevouwen jas onder het hoofd leggen.

Conditional Action

An action that can or must be executed under particular circumstances.

Als het slachtoffer meer dan 30 minuten in stabiele zijligging ligt, draai het dan op de andere zijde.

Action Aspect

Process The presentation of the action displays an action as a process/in progress.

Buig het been dat het verst van je weg is in de knie.

Result The presentation of the situation after an action has been performed.

Het slachtoffer ligt nu in een stabiele zijligging.

Control information

Warning The content of the presentation addresses a possible danger.

Let op, duw niet zijn hoofd opzij.

Condition The content of the presentation demands a particular situational context for the action to be executed.

Je vingers moeten de grond raken.

Motivation The content of the presentation addresses the reason to execute an action.

Bij het verwijderen van een helm kun je verder letsel veroorzaken.

Advice The content of the presentation recommends a (motivated) action or decision.

Het handigste is om de

hand vast te pakken ter

hoogte van de overgang van

hand naar de pols aan de

zijde van de handpalm.

(20)

Explanation The content of the presentation offers more information on how to execute the action.

Terwijl je de hand van het slachtoffer tegen de wang gedrukt houdt…

Situation Sketch

The content of the presentation displays a state in the procedure.

Het slachtoffer ligt op de rug of is reeds met de buik-naar- rugligging op de rug gelegd.

Other The content of the presentation does not involve the actions in the task execution.

Een slachtoffer dat langer dan 30 minuten in stabiele zijligging ligt, kan een zenuwletsel van de

onderliggende arm oplopen.

Picture

Variable Values Description Example

Content Presentation

First Aid Helper

The person or a part of the person who executes the task is presented.

Victim The person or a part of the person on which the task is executed is presented.

Object Objects like glasses, table, car etc. are displayed in the picture. Multiple objects can be selected in the picture.

Added Elements

Arrow Arrows in the picture to indicate for instance a direction, a location, a relation, or an important aspect of the

presentation.

(21)

Logo Icon associated with an organisation or

manufacturer.

Line Line in the picture to indicate for instance a connection, a location or an important aspect of the presentation.

Symbol Graphical indicators of e.g., duration danger, temperature.

Text Text presented in the pictures. For instance words to indicate sounds or verbalisations.

Shot Close up The presentation zooms in on a particular detail of the task execution.

Medium Shot

The persons and/or objects involved in the task execution are partly displayed. For example a person is shown from the waist.

Long Shot The persons and/or

objects involved in the

task execution are fully

displayed.

(22)

Action Type Preparatory Action

Actions that can be performed before the actual task of the

multimodal instruction is executed.

Core Action Actions that belong to the actual task of the multimodal instruction.

Closing Action

Actions that can be performed after the actual task of the

multimodal instruction is executed.

Action Status

Obligatory Action

An action that must be executed to perform the task successfully.

Alternative Action

An action that can be executed as a

replacement of another action.

Conditional Action

An action that can or must be executed under particular circumstances.

Action Aspect

Process The presentation of the action displays an action as a process/in

progress.

Result The presentation of the situation after an action has been performed.

Control information

Warning The content of the presentation addresses a possible danger.

Condition The content of the

presentation demands a

particular situational

context for the action to

(23)

be executed.

Motivation The content of the presentation addresses the reason to execute an action.

Advice The content of the presentation recommends a (motivated) action or decision.

Explanation The content of the presentation offers more information on how to execute the action.

Situation Sketch

The content of the presentation displays a state in the procedure.

Other The content of the presentation does not involve the actions in the task execution.

Picture-Text Relation

Attribute Subcategory Description Example

Relation identification

Index Picture and text are related via the use of numbers, letters or titles.

Alignment Picture and text are related by parallel sequential positioning.

Proximity Picture and text are related because they are positioned near to each other (but not as part of parallel sequencing).

Form Textual Reference

Number, Letter, Numeral, Unspecific, Parentheses, Other

Only for annotation of explicit references in the text such as

`Zie Figuur 3'. This excludes labels of pictures and numbers of numbered steps, that annotated with Relation Identification.

Expression with which the picture is explicitly referenced in the text.

"(zie Figuur 1)” would be annotated as Number,

Parentheses, Other:

"zie”. "In de eerste afbeelding hieronder"

would be annotated

as Numeral.

(24)

Select all elements that are present a/o add other elements.

Content Textual reference

Picture Part The reference refers to a particular part of the picture.

`zie de arm van de hulpverlener in de Afbeelding 2'.

Multiple Pictures The reference refers to multiple pictures.

`Figuur 1 en 2'.

Imperative The reference directs the reader’s attention, e.g., `zie Figuur 1’

Location The reference contains an indication of the location of the picture, e.g., `Zoals in de figuur hieronder’.

Paragraph Types

Name Description Shortcut

Title The Title of a document is usually placed at the top of the document and presents information about the content of the document. The font size of a Title is usually larger than the main text. The font colour may also differ from the rest of the text in the document.

Y

Heading Headings precede one or more paragraphs. Headings contain information about the content or place of a paragraph within the procedure described in the document.

H

Paragraph A Paragraph consists of one or more sentences and is

separated from the previous paragraph or heading with a hard return or white line.

A

Picture Photograph, drawing or other graphical presentation. P

Caption Captions are placed above or below a picture. Captions may contain a label and/or a description of the content of the picture.

C

Inset Insets are textual a/o pictorial elements that are added to a picture (superimposed or attached). They can present an enlarged detail or additional information e.g. about duration,

I

(25)

danger, or temperature.

Extraneous Material

Any material unrelated to the content of the multimodal instruction (e.g., page numbers, logos, pictures)

R

(26)

Bijlage 3: Video-annotatieschema

DOCUMENT INFORMATION

Category Definition Example

MI ID The unique

identification index of the document.

1

Topic The topic of the multimodal instruction according to the categorization in Het Oranje Kruis Boekje (2016).

‘Unconscious with normal breathing’

Task The task

presented in the multimodal instruction according to the descriptions given by Het Oranje Kruis Boekje (2016).

‘Placing a victim in the recovery position’

Organization The

organization that published the multimodal instruction.

Het Oranje Kruis

Background Information

Background information of the video.

Published on Jan. 4. 2017

Location The website (or medium) in which the multimodal instruction was published.

https://www.youtube.com/watch?v=7l0Qd1rb1fA&list=PLPQMG- iaWX9bVPm9Tr0QA23s30F2mZ8_n&index=4

Pictorial Context

Environment in which the video is recorded.

E.g. Office setting or Studio setting

House Style Design features used throughout the video.

- The organization's logo is continuously displayed in one of the corners of the screen.

- Background music

(27)

ELAN: SPOKEN TEXT

Parent Tier

Dependent Tiers

Subcategory Definition Example

Spoken Text

Global Structure

Title The title of the presented instruction.

Preamble Any material that precedes the Instruction, which for instance explains in which situations the instruction is applicable, how to process the instruction or how to execute the task properly.

Instruction Material pertaining to the execution of the task (actions and control information).

Closing Any material pertaining to eventualities after the task has been executed.

Extraneous Information

Information that does not pertain to the task.

- Reference to other instruction material ("For more information you can consult 'Het Oranje Kruis- boekje'", "On our website you can order 'Het Oranje Kruis-boekje'", "Check out the other Layar videos on YouTube ")

- Contact Information ("If you have any questions you can fill out the contact form on our website")

- Addressing the viewer ("Thanks for watching!") Action Type Preparatory

Action

Action that can or should be performed before the actual task is executed.

“First check if someone is breathing normally.”

Core Action Action that belongs to the actual task.

“Put the arm with the back of the hand against the cheek that is closest to you.”

Closing Action Action that can or should be performed after the actual task is executed.

“Check the casualty's breathing every minute.”

Action Status

Obligatory Action

Action that must be executed to perform the task

successfully.

“Take the arm that is the nearest you.”

Alternative Action

Action that can be executed as a replacement of another action.

“Bend over or kneel down next to the victim.”

Conditional Action

Action that can or must be executed under particular circumstances.

“If the victim is wearing glasses, take them off and put the glasses in a safe place.”

Action Aspect

Process The presentation concerns an ongoing process of an

“Continue to turn until the

bent elbow of the victim’s

(28)

action that is being performed.

touching the ground.”

Result The presentation concerns the situation after an action has been performed.

Control Information

Warning The presentation addresses a possible danger.

“Pay attention to where you are walking!”

Condition The presentation concerns a particular situational context or circumstance in which the action should be executed.

“If the victim is wearing glasses, take them off and put the glasses in a safe place.”

Purpose The presentation specifies a goal of an action.

Manner The presentation specifies how to execute the action.

“Continue to turn until the bent elbow of the victim is touching the ground.”

“Pull the bandage slightly with every stroke you make, in this way you give sufficient support without pinching.”

Advice The presentation concerns a suggested course of action for improving or securing task performance.

“The closer you hold the victim to yourself during lifting, the more you relieve your back.”

Situation Sketch

The presentation concerns a state in the procedure.

Explanation The presentation concerns the reason for performing an action.

“Pull the bandage slightly with every stroke you make, in this way you give sufficient support without pinching.”

Other The presentation does not

concern the actions in the

task execution.

(29)

ELAN: IMAGE

Parent Tier Dependent Tiers

Subcategory Definition Example Image Global

Structure

Title The title of the presented instruction.

Preamble Any material that precedes the instruction, which for instance explains in which situations the instruction is applicable, how to process the instruction or how to execute the task properly.

Instruction Material

pertaining to the execution of the task (actions and control

information).

Closing Any material pertaining to eventualities after the task has been executed.

Extraneous Information

Information that does not pertain to the task.

Credits:

Action Type Preparatory Action

Action that can or should be

performed before

the actual task is

executed.

(30)

Core Action Action that belongs to the actual task.

Closing Action

Action that can or should be

performed after the actual task is executed.

Action Status

Obligatory Action

Action that must be executed to perform the task successfully.

Alternative action

Action that can be executed as a replacement of another action.

Conditional action

Action that can or must be executed under particular circumstances.

Action Aspect

Process The presentation

concerns an

ongoing action

that is being

performed.

(31)

Result The presentation concerns the situation after an action has been performed.

Control Information

Warning The presentation addresses a possible danger.

Condition The presentation concerns a particular

situational context or circumstance in which the action should be executed.

Purpose The presentation specifies a goal of an action.

Manner The presentation specifies how to execute the action.

Advice The presentation concerns a suggested course of action for improving or securing task performance.

Situation Sketch

The presentation concerns a state in the procedure.

Explanation The presentation concerns the reason for performing an action.

Other The presentation does not concern the actions in the task execution.

Shot Size Close Up The presentation zooms in on a particular detail of the task

execution.

(32)

Medium Shot The persons and/or objects involved in the task execution are partly displayed. For example a person is shown from the waist.

Long Shot The persons and/or objects involved in the task execution are fully displayed.

Undecidable - The content of the shot changes so that the perspecti ve in the recording cannot be determin ed. For instance, a person kneels down and thereby becomes fully visible (Medium Shot -

>Long Shot)

- There is

a Split Screen and the two parts have different shots.

Number of Persons

Single Shot One Person

(33)

Two Shot Two Persons

Three Shot Three Persons Zero Persons Zero Persons

>3 Persons More than three persons

Image Technique

Still Image There is no movement in the image. Annotate from the moment the movement stops until the moment the movement starts again.

Pan The image shifts from left to right or from right to left. Annotate from the moment the shift starts, until it ends.

Tilt The image shifts from top to bottom, or from the bottom to top.

Annotate from the moment the shift starts, until it ends.

Zoom In A change of perspective, in which the image is enlarged.

Annotate from the moment the enlargement starts until it stops.

Zoom Out A change of perspective, in which the image is decreased.

Annotate from the moment the decrease starts until it stops.

Fade In The image is faded in so that the content becomes visible gradually.

Annotate from the

(34)

moment the fade in starts until the content is fully displayed.

Fade Out The image is faded out so that the content becomes less and less visible.

Annotate from the moment the fading starts until the content is no longer visible.

Split Screen There are two or more views in one screen.

Added Elements

Logo Icon associated with an

organisation or manufacturer. Do not annotate a persistent house style logo here;

house style is annotated under Document Information.

Arrows Arrows in the picture to indicate for instance a direction, a location or an important aspect of the

presentation.

(35)

Lines Line in the picture to indicate for instance a connection, a location or an important detail in the presentation.

Symbols Graphic

indicators of e.g.

duration, danger, temperature

ELAN: WRITTEN TEXT

Parent Tier Dependent Tiers Subcategory Definition Example Written Text Global Structure Title The title of the

presented instruction.

Preamble Any material that precedes the Instruction, which for instance explains in which situations the instruction is applicable, how to process the instruction or how to execute the task properly.

Instruction Material

pertaining to the execution of the task (actions and control

information).

Closing Any material pertaining to eventualities after the task has been executed.

Extraneous Information

Information that does not pertain to the task.

- Contact information from an organizatio n

- URL: For

example of

(36)

the company's website that published the

multimodal instruction.

Action Type Preparatory Action

Action that can or should be

performed before the actual task is executed.

Core Action Action that belongs to the actual task.

Closing Action Action that can or should be

performed after the actual task is executed.

Action Status Obligatory Action Action that must be executed to perform the task successfully.

Alternative Action Action that can be executed as a replacement of another action.

Conditional Action

Action that can or must be executed under particular circumstances.

Action Aspect Process The presentation concerns an ongoing process of an action that is being

performed.

Result The presentation concerns the situation after an action has been performed.

Control Information

Warning The presentation addresses a possible danger.

Condition The presentation concerns a particular

situational context or circumstance in which the action should be executed.

Purpose The presentation specifies a goal of an action.

Manner The presentation

specifies how to

(37)

execute the action.

Advice The presentation concerns a suggested course of action for improving or securing task performance.

Situation Sketch The presentation concerns a state in the procedure.

Explanation The presentation concerns the reason for performing an action.

Other The presentation

does not concern the actions in the task execution.

ELAN: Talk

Parent Tier Dependent Tiers Subcategory Definition Example

Talk Any talk by

participants (or devices like AED) in the scene that is part of the task execution.

N.b.: Task- accompanying commentary (i.e.

instructions) should be annotated as Spoken Text.

The First Aid helper tries to talk to the victim to draw his or her attention, for example: “Hello, can you hear me?!”

ELAN: Non-Speech Sounds

Parent Tier Dependent Tiers Subcategory Definition Example Non-Speech

Sounds

Any background noises or sound effects (e.g.

marking a new

part of the video).

Referenties

GERELATEERDE DOCUMENTEN

Voor de infraorde Caridea, waartoe de ‘snapping shrimp’ behoren, somden De Grave et al. Geen van deze lijken zowel fossiel als recent voor te komen, maar dat beeld kan

Contrary to the exaltation in technological power various Abstract Expressionist artists explored the sublime as aesthetic category in terms of a kenotic

Thus, we predict that the difference be- tween the percentage of correct identifications in context and in Isolation would be greater for deze in past tense sentences than foideze

De schubbolletjes werden op dezelfde manier ontdaan van de ‘hoofd’ schubben als hiervoor beschreven. De resultaten zijn vermeld in tabel 27. In alle behandelingen is tijdens

Given the fact, as shown in this dissertation, that prepared speakers are able to signal, using pauses and pitch range, the hierarchical levels of text structure, the nuclearity

In two experiments we adapted the WTI-paradigm by providing a central theme to previously used materials (Stafura & Perfetti, 2014). In Experiment 1 we provided a three-

Alleen bij een bewaartemperatuur van 34°C nam het percentage bollen met 3 stelen toe naarmate de bollen langer werden bewaard.Naarmate de bollen groter waren,

Based on Drieman’s work, we thought that attributive adjectives might occur more in written descriptions, but when we look at Table 3, we find a mixed result: spoken