Reflectie op validiteit en betrouwbaarheid

Volgens Plooij (2011) kan betrouwbaarheid omschreven worden dat wanneer het onderzoek opnieuw wordt gedaan, dezelfde resultaten voorkomen. De betrouwbaarheid van dit onderzoek is omlaag gegaan aangezien er maar drie respondenten geworven konden worden voor het onderzoek. Er is veel gedaan om respondenten te werven en alles is nauwkeurig bijgehouden in een

onderzoekslogboek. Zo is er twee keer een mail gestuurd door de opleidingsdirecteur, de

studieadviseur ingezet, een bezoek gebracht in een college waarbij ze hun naam op een formulier konden zetten, de studievereniging Newton ingeschakeld en tot slot is er aan de respondenten gevraagd hun studiegenoten te vragen.

Om de betrouwbaarheid te verhogen zijn er verschillende partijen geïnterviewd om toch een zo breed mogelijk beeld te krijgen van de huidige situatie. Zo is de organisatie van het algemene gedeelte van de kick-in geïnterviewd, de organisatie van de facultaire kick-in, de opleidingsdirecteur van de

opleiding ME en de organisatie van de cultural activity. Daarnaast is er een best practise geïnterviewd die kan helpen met het ontwikkelen van de gewenste situatie. Tot slot heeft de onderzoeker onofficieel de introductie geobserveerd. Dit hielp om de huidige situatie in beter in beeld te krijgen en de

organisatie beter te begrijpen.

Om tot een goede vragenlijst te komen is gebruik gemaakt van de theorie van Pijls et al. (2017). De sub aspecten zijn vervolgens gekoppeld aan de introductie met een aantal inleidende vragen in de interviewguide. Er is dus geen standaard vragenlijst gebruikt maar de bestaande vragenlijst is door verschillende mensen nagekeken, namelijk de onderzoeksdocent, twee klasgenoten en twee externe personen. Daarnaast is de interviewguide mede tot stand gekomen in overleg met de opdrachtgever. De resultaten van het onderzoek zijn gelezen door twee klasgenoten en een extern persoon.

Daarnaast zijn wat veranderingen aangebracht in de uitvoering van het onderzoek. Alles heeft in overleg plaatsgevonden met de opdrachtgever. Eén van de afspraken met de opdrachtgever was om elke vrijdag een update te sturen over de voortgang. Tevens is regelmatig de maandag daarop de voortang besproken en eventuele keuzes gemaakt. De veranderingen betreffen het aantal

respondenten en het zoeken van de best practices buiten de faculteit ET. Mede door het mailcontact is er een logboek bijgehouden van de veranderingen, vorderingen, tegenslagen en de bijbehorende leermomenten die meegenomen kunnen worden in een vervolgonderzoek.

Tot slot is binnen dit onderzoek gebruik gemaakt van triangulatie. Dit is gebeurd door de verkregen informatie via bureauonderzoek of literatuuronderzoek te testen in de diepte-interviews of gesprekken met de betrokken partijen en vice versa.

Betrouwbaarheid interviews

Tijdens de interviews zijn er een aantal aspecten voorgekomen die de betrouwbaarheid hebben beïnvloed. Om te voorkomen dat negatieve aspecten de betrouwbaarheid beïnvloeden is de theorie over het afnemen van een interview van Baarda (2012) gebruikt.

Allereerst is er erg goed gelet op de omgeving waar het interview werd afgenomen. Dit is gedaan in een kantoor met weinig omgevingsgeluiden. Bij binnenkomst van de respondent stond koffie en thee klaar en zaten de respondent en de interviewer schuin tegenover elkaar om een informele sfeer te creëren. Omdat het interview van student tot student was is er ook rekening gehouden met de manier waarop de respondent benaderd werd. Daarnaast is de kleding keuze daarop aangepast. Alles om een informele sfeer te maken en de respondent zich op zijn gemak te laten voelen. Dit is ook doorgevoerd in het houden van het interview zelf. Er is geprobeerd grapjes te maken, te lachen om versprekingen en fouten en door eerst een aantal minuten met de respondent te praten voor de opnames begonnen.

De interviewguide is gecontroleerd door verschillende mensen en er is een proef interview gehouden met een extern persoon om te kijken of de vragen en het onderwerp begrepen werden. Daarnaast is geprobeerd om niet sturende vragen, geen dubbele vragen en geen toevoegingen te geven. In de praktijk is dit niet altijd gebeurd. Uit de transcripten kan gehaald worden dat er vaak sturende vragen werden gesteld. Een voorbeeld is: “vond u de introductie nuttig?”. Dit is mede gebeurd om dat een sub aspect nog niet aan de orde was gekomen of omdat de respondent nog niet genoeg informatie had gegeven over een bepaald aspect. Ten tweede zijn er teveel toevoegingen gedaan bij het stellen van de vragen. Zowel in de vorm van het “beter” uitleggen van de vraag of het geven van voorbeelden. Een voorbeeld hier van is: “and could give some examples that you felt safe? Or was it just the feeling or?”. Dit is helaas niet bewust gedaan en heeft wellicht een effect gehad op de antwoorden van de respondenten. Daarnaast zijn soms dubbele vragen gesteld aan een respondent waardoor deze misschien verward is geraakt en niet het antwoord heeft kunnen geven dat de respondent wilde of niet

aan heeft gedacht. Een voorbeeld is: “so within the group you had the feeling you were in control? Could you tell what activities you would like to do or did you have trouble with that?”. Eén van de redenen die te maken kunnen hebben met het stellen van de bovenstaande vragen is om het gevoel van controle vast te houden in het interview en er voor te zorgen dat elk aspect werd besproken. Het was lastig om te anticiperen op de antwoorden die de respondent gaf, terwijl dat niet het onderwerp was waarover de vraag ging. Van deze bovenstaande punten kan geleerd worden voor een volgend onderzoek.

Wel is er goed doorgevraagd. Er zijn met behulp van de theorie van Baarda (2012) doorvraagvragen opgeschreven en naast de interviewguide gelegd tijdens het interview om daar naar te refereren indien nodig. Dit heeft geholpen om antwoorden te krijgen van de respondenten waar ze over moesten nadenken. Daarnaast zijn er ook veel voorbeelden gevraagd. Ook is aan het slot gevraagd aan de respondenten of ze nog wat wilden toevoegen aan de gegeven antwoorden, mochten ze het gevoel hebben gehad niet alles te hebben verteld.

Begripsvaliditeit

Begripsvaliditeit geeft aan of het kernbegrip daadwerkelijk ook het kernbegrip meet tijdens het onderzoek (Plooij, 2011). Gastvrijheid en gastvrijheidsbelevening waren de kernbegrippen binnen het onderzoek. Deze begrippen zijn niet meetbaar en kunnen door de respondenten op verschillende manieren worden opgevat. Er is daarom voor elk gesprek met de respondenten en de betrokken partijen gevraagd of er een goed beeld was van gastvrijheid. Indien niet het geval was, werd de definitie gegeven die wordt aangehouden in het onderzoek. Dit is mede gedaan om te kijken of de huidige blik op gastvrijheid overeenkwam met definitie die is aangehouden tijdens het onderzoek. Er is voor een abstract en meetbare definitie gekozen die bestaat uit negen aspecten zodat iedereen, op een makkelijke manier, kennis kan maken met gastvrijheid. De operationalisatie is, net zoals de interviewguide, door verschillende partijen bekeken om te bepalen of deze begrijpelijk was voor iedereen. Daarnaast is het gerationaliseerde kernbegrip de rode draad geweest het onderzoek. Interne validiteit

Verhoeven (2014) geeft aan dat de interne validiteit samenhangt met het in staat zijn van het trekken van juiste conclusies. Helaas zijn er te weinig respondenten bereid gevonden om mee te doen aan het onderzoek, echter betekent dit wel dat er weinig incidenten plaatvonden die de interne validiteit beïnvloeden. Wel is het zo dat het trekken van betrouwbare conclusies lastiger is aangezien er te weinig meningen verkregen zijn. Om de interne validiteit te verhogen heeft randomisatie

plaatsgevonden binnen de steekproef van de studenten. Er hebben geen externe voorvallen plaatsgevonden en de vragenlijst is tussendoor niet aangepast.

Externe validiteit

Wanneer de resultaten van een onderzoek generaliseerbaar zijn voor andere situaties, wordt er gesproken over de externe validiteit (Plooij, 2011). Het is al verschillende keren benoemd maar helaas was het werven van respondenten lastig en is het niet gelukt om de beoogde 8-10 respondenten te krijgen. Er zijn uiteindelijk drie respondenten bereid gevonden die waardevolle antwoorden hebben gegeven. De resultaten zijn dus niet te generaliseren voor de steekproef. De antwoorden en inzichten van deze drie respondenten zijn wel heel waardevol geweest voor het onderzoek en mede door de triangulatie kan de inhoud van dit verslag toch heel waardevol zijn voor de opleiding en een opstap bieden voor het ontwikkelen van gastvrijheid.