Betrouwbaarheid en validiteit Betrouwbaarheid

De betrouwbaarheid van een onderzoek wordt bepaald door de nauwkeurigheid en de consistentie waarmee variabelen worden gemeten (Van Thiel, p.57).

De nauwkeurigheid heeft vooral betrekking op de meetinstrumenten die in het onderzoek zijn gebruikt, zoals de vragenlijsten. De interviews voor het bewonersonderzoek zijn gehouden aan de hand van een topiclijst die was opgesteld op basis van het onderzoek naar ‘critical encounters’ op vier toeristische eilanden (Postma, 2013). Die lijst is in alle interviews op systematische manier gehanteerd door steeds dezelfde interviewer. In die zin waren de interviews gestandaardiseerd.

Van de gesprekken zijn uitgebreide verslagen gemaakt. De scores zijn naderhand, bij de verslaglegging en de verwerking van de informatie in de spreadsheets, toegevoegd. Verder is veel kwalitatieve informatie verzameld. Daarbij is het voor de onderzoeker van belang om objectief te blijven en onafhankelijk te rapporteren, want door langdurig en intensief met een onderwerp bezig te zijn ontstaat het risico van subjectiviteit en selectiviteit (Van Thiel, p.106). Deze onderzoeker was zich daar zeer van bewust. Bij consistentie gaat het om het principe van herhaalbaarheid: onder dezelfde

omstandigheden zal dezelfde meting leiden tot dezelfde bevindingen. Omdat mensen leren van eerdere ervaringen en door een eerder gesprek hun gedachten hebben

gevormd, en omdat de ontwikkeling van toerisme niet stilstaat, zal een herhaling van het onderzoek niet tot precies dezelfde resultaten leiden. De consistentie is bevorderd door de interviews bij alle respondenten zoveel mogelijk op dezelfde manier te doen.

Aan het begin van de interviews is eerst de controlevraag gesteld of de bewoner op één of andere manier zelf betrokken is bij, of voordeel heeft van het toerisme. Dit zou namelijk het perspectief op toenemend toerisme kunnen beïnvloeden (zie vragenlijst in bijlage). Dit bleek voor vier bewoners het geval, variërend van het hebben van een b&b, het verhuren via Airbnb of het runnen van een winkel waar ook toeristen komen.

Bij het onderzoek naar de besluitvorming rondom Soho House is de betrouwbaarheid verhoogd door triangulatie: het toepassen van verschillende onderzoeksmethoden. Na inventariserende gesprekken met beleidsambtenaren van stadsdeel Centrum, zijn relevante documenten geanalyseerd over hotelbeleid in het algemeen en de

besluitvorming rond de twee locaties in het bijzonder. De bevindingen zijn getoetst in gesprekken met een aantal sleutelfiguren.

Interne validiteit

De interne validiteit betreft de geldigheid van onderzoek: heeft de onderzoeker echt gemeten wat hij wilde meten (Van Thiel, p.58)? De theoretische concepten, zoals de cumulatieve aantrekkingskracht en social exchange zijn geoperationaliseerd aan de hand van de methode van de ‘critical encounter’. De vragen naar ‘critical encounters’, en indirect naar irritatiedrempels, tolerantiegrenzen en verzadigingspunten, is een adequate manier om te achterhalen of een kantelpunt van de toename van toerisme in zicht is en of de voordelen nog opwegen tegen de nadelen.

Er is één kanttekening. Het onderzoek gaat over toenemend toerisme, maar uit de gesprekken bleek dat de ervaringen niet alleen met toeristen te maken hebben. Ook

38

dagjesmensen dragen bij aan de toegenomen drukte. Dit onderscheid tussen bezoekers en toeristen, dat overigens ook lastig te maken is, komt in het onderzoek niet duidelijk naar voren.

Door bij de samenstelling van de onderzoekspopulatie te letten op een aantal relevante kenmerken en door de bewoners steeds dezelfde vragen voor te leggen en die op eenzelfde wijze te ordenen, is de interne validiteit, ondanks het bescheiden aantal respondenten, bevorderd.

Externe validiteit

Bij externe validiteit gaat het om de generaliseerbaarheid van onderzoek: gelden de gevonden resultaten ook voor andere personen, instituties, tijden en plaatsen (Van Thiel, p.59)? In dit onderzoek gaat het om de generaliseerbaarheid naar andere

binnenstadsbuurten, respectievelijk andere besluitvormingsprocessen over hotels. De buurt die is onderzocht, ‘grachten&straatjes’ in de westelijke grachtengordel, is geen doorsnee Amsterdamse binnenstadsbuurt. Het is een bovengemiddeld aantrekkelijke, welgestelde buurt. De buurt heeft een gunstige ligging en een grote populariteit als winkelgebied. In die zin is de buurt niet representatief en zijn de bevindingen niet zonder meer generaliseerbaar.

Er zijn binnenstadsbuurten die al langer en ingrijpender met het toerisme worden

geconfronteerd, zoals het Wallengebied en de Nieuwmarktbuurt, en er zijn buurten waar het toerisme nog niet zo sterk is doorgedrongen, zoals de Plantagebuurt in de oostelijke binnenstad. Doordat binnenstadbuurten zo verschillen en uniek zijn, zou geen enkele buurt representatief zijn geweest voor de hele binnenstad.

Daar staat tegenover dat er buurten in Amsterdam zijn die een vergelijkbare

ontwikkeling van gentrification en aantrekkingskracht op toeristen (gaan) doormaken, zeker gezien het voornemen van de gemeente om in te zetten op spreiding van het toerisme. In die zin kan de casus als een pilot worden beschouwd voor toepassing van de methodiek in andere buurten.

Bij het onderzoek naar besluitvormingsprocessen is gekozen voor Soho House. Door het unieke concept dat aan Soho House ten grondslag ligt (hotel annex club, creatieve sector, hoog segment) is het geen ‘gemiddeld’ hotel. Het concept is wel inherent aan het aangescherpte hotelbeleid, dat alleen nog hotels met een uniek concept in dit deel van de binnenstad toelaat. Voordeel van de casus was de mogelijkheid om twee

besluitvormingsprocessen te vergelijken. Het onderzoek geeft daarmee inzicht in de functie van beleidskaders bij de trade-off van opvattingen over hotelbeleid. Maar de uitkomsten kunnen niet zonder meer gegeneraliseerd worden naar andere

besluitvormingsprocessen in andere buurten, omdat daar andere omstandigheden een rol spelen.

In de volgende hoofdstukken wordt verslag gedaan van de uitkomsten van het onderzoek.

39