3. METHODOLOGIE WEBSURVEYS
3.2 Het opzetten en versturen van de websurveys
3.2.1 Opzetten en technische ondersteuning websurveys
Binnen het Onderzoeksinstituut voor Arbeid en Samenleving (HIVA) is er een surveydienst. Deze dienst is gespecialiseerd in het opzetten en praktisch ondersteunen van websurveys. De surveydienst was verantwoordelijk voor het operationeel maken van de websurvey en de monitoring van de binnenkomende resultaten.
3.2.2 Anonimiteit van de websurveys
Een belangrijke voorwaarde bij het organiseren van de vier websurveys was dat de personen en organisaties die de survey zouden invullen dit anoniem konden doen. Dit betekent dat de ingevulde vragenlijsten door de onderzoekers niet gelinkt mochten worden aan een specifiek individu of een specifieke organisatie. Om aan deze voorwaarde te voldoen, kwamen de vragenlijsten bij de onderzoekers terecht zonder dat er een link was met een naam of e-mail. Op die manier werd de anonimiteit gegarandeerd.
3.2.3 Contactgegevens en versturen van de websurveys
De keuze voor een anonieme websurvey impliceerde dat de doelgroepen niet rechtstreeks konden worden gecontacteerd door de onderzoekers. Bovendien verhinderen privacyredenen de onderzoekers om persoonsgegevens te verkrijgen voor wetenschappelijk onderzoek. Het was dus noodzakelijk om de doelgroepen via een tussenschakel te contacteren:
- voor de bevraging van de ontvangers van een PVB en de bevraging van de VZA’s werden de vragenlijsten uitgezonden door het Vlaams Agentschap voor Personen met een Handicap (VAPH), die eigenaar is van de adressen;
- de websurveys gericht aan de SHM’s en de SVK’s werden door de Afdeling Woonbeleid van het Agentschap Wonen-Vlaanderen verstuurd.
Van het VAPH en het Agentschap Wonen-Vlaanderen werd verwacht dat zij de weblink naar de websurvey zouden versturen naar de doelgroepen. Daarbij werd gezorgd dat de inspanning die zij hiervoor moesten leveren zo minimaal mogelijk zou blijven. Daarom werd er door de onderzoekers een standaardmail voorzien die reeds de link naar de websurvey bevatte. Deze mail kon dan integraal worden doorgestuurd naar de doelgroep.
Bij de eerdere bevraging van cliënten van het persoonsvolgend budget (Op de Beek et al., 2019) stelden we vast dat de meerderheid van de volledig ingevulde surveys niet door de persoon met een beperking zelf werden ingevuld.60 Daarom werd bij de huidige bevraging van de PVB-ontvangers in de begeleidende e-mail, die de link naar de websurvey bevatte, verwezen naar de mogelijkheid dat ook anderen de vragenlijst konden invullen. Wel werd gevraagd om, indien mogelijk, de persoon met een beperking zoveel mogelijk te betrekken bij het invullen van de vragenlijst.
Om de respondenten van de websurveys te ‘begeleiden’ bij het invullen, werden praktische instructies geformuleerd die zij bij aanvang van de survey op hun computer te zien kregen. Daarnaast werd een apart e-mailadres aangemaakt (woonbevraging@kuleuven.be) waar de respondenten terechtkonden voor bijkomende vragen of opmerkingen. Hierdoor werden potentiële vragen rechtstreeks gericht aan het VAPH en het Agentschap Wonen-Vlaanderen in de mate van het mogelijke beperkt.
Een beknopte uitleg over de relevantie van het onderzoek werd ook voorzien.
Ongeveer twee en vier weken na het versturen van elke websurvey werd (door het VAPH en het Agentschap Wonen-Vlaanderen) een herinneringsmail met link naar de websurvey verzonden waarvoor eveneens telkens een standaardtekst werd voorzien door de onderzoekers. De websurveys bleven in totaal ongeveer 6 weken openstaan. Tabel 3 geeft een overzicht van de data waarop de vier websurveys en de reminders werden verstuurd.
Tabel 3 Overzicht van data uitsturen bevraging en reminders websurveys
Websurvey Uitsturen bevraging 1e reminder 2e reminder
1) Ontvangers van een PVB 22.11.2019 06.12.2019 20.12.2019
2) SHM’s 07.11.2019 22.11.2019 09.12.2019
3) SVK’s 07.11.2019 22.11.2019 09.12.2019
4) VZA’s 05.12.2019 20.12.2019 09.01.2020
Bron: Eigen bewerking
De ingevulde vragenlijsten kwamen rechtstreeks bij de onderzoekers terecht. Hierdoor konden de onderzoekers de gegevens direct exporteren en gebruiken voor verdere analyses en waren er geen extra inspanningen van het VAPH en het Agentschap Wonen-Vlaanderen nodig.
3.2.4 Bekendmaking en promotie van websurveys
Om de respons op de bevragingen te bevorderen werden ze via verschillende kanalen bekendgemaakt en gepromoot. Potentiële respondenten die de bevraging niet via e-mail gekregen hadden, werden op die manier geïnformeerd over de bevraging. Anderen die de bevraging wel reeds via e-mail ontvangen hadden, werden op die manier herinnerd aan het onderzoek en gestimuleerd om alsnog deel te nemen aan de bevraging. Deze berichten bevatten, naar analogie met de e-mails, telkens een rechtstreekse link naar de websurvey zodat de gevraagde inspanningen om deel te nemen zo minimaal mogelijk waren.
3.2.4.1 Promotie van websurvey voor PVB-ontvangers
Voor de websurvey gericht aan de ontvangers een PVB heeft het VAPH kort na de lancering een bericht op hun website geplaatst waarin werd gewezen op het belang van de bevraging.
60 Slechts 44% van de respondenten had de vragenlijst zelf ingevuld. Van de respondenten die de vragenlijst niet zelf hadden ingevuld, ging het voornamelijk om ouders (64%) en de partner (16%) van de betrokkenen. Begeleiders en dienstverleners maakten deel uit van een verzamelgroep waartoe ook andere familieleden en kinderen behoorden die samen 5%
uitmaakten.
De bijstandsorganisatie ZOOM vzw heeft aan hun leden een nieuwsbrief bezorgd met een oproep tot medewerking. De andere bijstandsorganisaties werden door ZOOM ook op de hoogte gebracht en gevraagd om hetzelfde te doen.
Daarnaast werd een informatiebericht in de wekelijkse mededelingen van de koepelorganisaties Vlaams Welzijnsverbond en de Federatie van Sociale Ondernemingen geplaatst.
3.2.4.2 Promotie van websurveys voor SHM’s & SVK’s
Ter promotie van de bevraging gericht aan de SHM’s werd door de Vlaamse Maatschappij voor Sociaal Wonen (VMSW) een bericht geplaatst op het intranet van de SHM’s (woonnet). Daarnaast heeft de Vereniging van Vlaamse Huisvestingsmaatschappijen (VVH), een koepelorganisatie van de SHM’s, een bericht uitgestuurd naar alle leden.
In het kader van de bevraging gericht aan de SVK’s werd door de federatie van sociale verhuurkantoren, HUURpunt vzw, een bericht geplaatst in de eerstvolgende nieuwsbrief na lancering van de websurvey.
3.2.4.3 Promotie van websurvey voor VZA’s
De VZA’s werden door SOM, de federatie van sociale ondernemingen, aangemoedigd om deel te nemen aan de bevraging.
Het Vlaams Welzijnsverbond heeft eveneens een bericht uitgestuurd naar hun leden om ze warm te maken voor het onderzoek.
3.3 Verwerking
3.3.1 Representativiteit
Bij surveyonderzoek is het altijd een zorg dat de steekproef een zo goed mogelijke afspiegeling vormt van de populatie. Om die reden worden steekproeven doorgaans op toevalsbasis getrokken. Bij de bevragingen in het kader van dit onderzoek zijn geen steekproeven getrokken, maar is telkens de volledige populatie bevraagd. Gezien echter nooit iedereen die wordt uitgenodigd, deelneemt aan de bevraging, is een belangrijke vraag of de groep die heeft geantwoord, een goede afspiegeling is van de totale groep. Responsanalyses kunnen daarover informatie bieden. Bij responsanalyses worden gegevens over de respondenten vergeleken met gegevens over de populatie (administratieve gegevens). Een knelpunt daarbij is doorgaans dat dit soort analyses noodgedwongen beperkt moet blijven tot gegevens waarover administratieve data bestaan. Belangrijk is echter vooral om te weten of er over hetgeen bevraagd wordt, verschillen bestaan tussen de groep die wel en niet deelnam. Zelfs met een relatief hoge respons kunnen uitspraken op basis van de bevraging een fout beeld geven als het een specifieke groep is die heeft deelgenomen. Maar daarover kunnen responsanalyses dus vaak geen duidelijkheid verschaffen, en dit geldt ook voor de hier uitgevoerde bevragingen.
Voor de bevraging van de personen met een beperking was er bovendien het bijkomende knelpunt dat we dienden te beschikken over mailadressen. Dit bleek voor een grote groep personen met een beperking niet het geval. Hier krijgen we dus nog met een extra uitval te maken. Indien er een relatie bestaat tussen deze uitval (het al dan niet beschikken over een mailadres) en wat we wensen te weten te komen, geven de resultaten een mogelijk vertekend beeld van de populatie.
Bij het opzetten van de bevragingen waren we ons zeer goed bewust van deze knelpunten. Toch is gekozen voor deze methodiek, bij gebrek aan alternatieven. Administratieve data blijken zeer beperkt voorhanden te zijn. Het rechtstreeks bevragen rest dan nog als enige mogelijkheid.
Ons bewust zijnde van dit knelpunt, is bij de bespreking van de resultaten telkens uitgebreid aandacht geschonken aan de responsanalyse.
3.3.2 Statistische verwerking
De data werden verwerkt in Stata, een statistisch programma voor dergelijke analyses. Wanneer in dit rapport vergelijkingen worden gemaakt tussen groepen, worden steeds statistische testen toegepast om de significantie weer te geven. Een verschil tussen twee groepen in een steekproef hoeft immers niet te betekenen dat er ook een verschil is in de populatie. Dit kan gebaseerd zijn op toeval. Hoe kleiner het steekproefaantal, hoe meer toeval speelt. Statistische testen maken dan duidelijk hoe groot de kans is dat een verschil gebaseerd is op toeval. In de tabellen wordt vermeld of men de gelijkheid van de resultaten kan verwerpen, en de resultaten dus significant verschillend zijn, op 1% of 5%
aangeduid met ** (1%) of * (5%).
In survey-onderzoek is het ook gebruikelijk een ondergrens te hanteren voor het aantal respondenten in deelgroepen om nog resultaten te tonen. Het minimum wordt vaak gelegd op 30 of soms zelfs 50 respondenten per cel. Indien we dat hier zouden doen, zouden we veel antwoorden van respondenten niet kunnen gebruiken. Om de brede variëteit in de populatie toch in beeld te kunnen brengen, kozen we er voor zoveel mogelijk antwoorden op te nemen, maar telkens in de tabellen duidelijk te vermelden op hoeveel respondenten het resultaat gebaseerd is. Bij het raadplegen van de tabellen is het dus raadzaam altijd te kijken naar dit aantal respondenten (aangeduid met ‘N’) en er bewust van te zijn dat hoe lager dit aantal is, hoe groter de kans dat de informatie gebaseerd is op toevalligheid.
Als ondergrens om nog analyses te doen, hanteerden we voor de bevraging van personen met een beperking N=20. Voor groepen die kleiner zijn, geven we geen verdelingen noch gemiddelden of medianen. Voor de bevraging van de vergunde zorgaanbieders en de SHM’s en SVK’s was het niet mogelijk dit als ondergrens te hanteren, omdat het hier over een veel kleiner aantal respondenten ging. We zouden dan nauwelijks nog resultaten kunnen presenteren. We geven in de betreffende hoofdstukken dus alle resultaten weer, ook voor kleine groepen. Op zich hoeft dit geen probleem te zijn als de lezer weet dat deze resultaten enkel gelden voor de (kleine) groep van respondenten en dat veralgemening naar de populatie op basis van deze gegevens niet mogelijk is. De resultaten in de twee betreffende hoofdstukken moeten dus altijd gelezen worden als resultaten voor de respondenten en niet voor de populatie.
3.3.3 Rapportering
Over de resultaten van de drie surveys rapporteren we resp. in hoofdstuk 4, 5 en 6. We beperken ons in de bespreking van deze resultaten tot data die rechtstreeks uit de bevragingen komen. Voor zover de data dat toelaten, maken we in deze hoofdstukken ook vergelijkingen tussen verschillende woonsituaties. We beperken ons hier tot wat vergelijkbaar is zonder bijkomende assumpties te moeten maken. Het resultaat is echter een zeer gedetailleerde rapportering. Een belangrijke reden daarvoor is dat de woonsituatie van personen met een beperking heel erg verschillend kan zijn, afhankelijk van of de persoon alleen woont of in een gezinssituatie of in een leefgroep, wie eigenaar is van de woning, enz. Om alles volledig in beeld te brengen, krijgen we zo vaak tabellen met veel kolommen en rijen. We hebben er voor geopteerd om toch al deze details te rapporteren zodat er geen informatie verloren gaat. Maar dit maakt het voor de lezer wel moeilijk om de grote lijnen te zien.
Om die reden hebben we hoofdstuk 7 toegevoegd, dat kan gelezen worden als een synthese van veel wat voorafgaat, te beginnen met een duiding van de voornaamste institutionele verschillen tussen de mogelijke woonsituaties, en vervolgens aangevuld met empirische informatie uit de bevragingen. We hebben ons daarbij beperkt tot deze woonsituaties die frequent voorkomen en waar we dus ook voldoende steekproefaantallen hadden. Bovendien hebben we hier af en toe veronderstellingen gemaakt om toch vergelijkingen te kunnen maken indien we over onvoldoende data beschikten. Deze
veronderstellingen hebben we steeds onderbouwd vanuit eerder onderzoek, in het bijzonder met bevindingen uit de Woonsurvey 2018 of op basis van administratieve data.
3.4 Reflectiegroepen
Hoewel een bevraging via een websurvey het mogelijk maakt om, mits een relatief kleine investering, heel wat waardevolle informatie te verkrijgen van een grote groep respondenten, heeft het ook een aantal beperkingen. Een eerste beperking is dat de respondenten uitsluitend kunnen antwoorden op de aan hen voorgelegde vragen. We gaven op het einde van elke websurvey de mogelijkheid om algemene opmerkingen en/of bedenkingen bij het onderzoeksthema te geven, maar dit laat niet altijd toe om voldoende in de diepte te gaan. Bovendien zijn veel vragen van de websurvey gesloten en bevatten ze vaak vooropgestelde antwoordopties. Dit laat de respondenten dan ook niet altijd toe om een eigen focus te leggen. Dit hebben we wel proberen counteren door zo veel mogelijk open bijvragen te stellen of de antwoordoptie ‘andere’ te voorzien die de respondent zelf kon aanvullen. Maar zelfs dan wordt een websurvey altijd enigszins gestuurd door de vragen en laat het niet altijd voldoende ruimte om in de diepte te gaan. Daarnaast hebben websurveys tegelijkertijd de beperking dat maar een deel van de groep waarover het gaat, er aan deelneemt. Daarom is het zinvol, zeker voor het bevragen van complexe onderwerpen waarover nog niet zoveel andere informatie bestaat, de resultaten van de bevraging te toetsen aan de kennis van personen die de praktijk goed kennen. Dit biedt ook de mogelijkheid om resultaten die op het eerste zicht niet overeenkomen met de verwachtingen of tegenstrijdig lijken, uit te klaren.
Omwille van bovenstaande beperkingen hebben we ter aanvulling van de websurveys drie reflectiemomenten georganiseerd bij vertegenwoordigers van (1) SHM’s & SVK’s; (2) VZA’s &
(3) lokale besturen. Het doel van deze reflectiemomenten was om de vaststellingen die naar voor kwamen uit de bevragingen (bij personen met een beperking, vergunde zorgaanbieders en sociale verhuurders), beter te kunnen duiden en verdiepen. Voor personen met een beperking werd geen reflectiegroep georganiseerd. De reden hiervoor is dat in het kader van het Steunpunt Wonen al een kwalitatief onderzoek loopt waarbij interviews gebeuren bij personen met een beperking. De onderzoekers die hiervoor instaan, zijn van bij het begin betrokken geweest bij het onderzoek waarvan dit het rapport is en hebben de vragen die hieruit naar voor kwamen voor personen met een beperking mee verwerkt in hun checklist voor de interviews. Hierover zal afzonderlijk worden gerapporteerd.
3.4.1 Organisatie reflectiemomenten
Voor het vinden van eventuele geïnteresseerde deelnemers aan de reflectiemomenten van (1) de SHM’s & SVK’s & (2) de VZA’s konden we gebruik maken van de websurveys gericht aan deze organisaties. Zo bevatte de vragenlijsten gericht aan deze instellingen de vraag of ze eventueel wilden deelnemen aan een dergelijk reflectiemoment. Indien dit het geval was, konden ze hun e-mailadres invullen waarop ze in latere fase van het onderzoek gecontacteerd zouden worden voor een concrete uitnodiging voor dit reflectiemoment. Uiteindelijk gaven 23 SHM’s & SVK’s en 39 VZA’s zich op.
Bij het reflectiemoment voor (3) de lokale besturen moest er op een alternatieve wijze tewerk gegaan worden aangezien er geen websurvey aan hen gericht was. De vertegenwoordiger van de Vlaamse Vereniging voor Steden en Gemeenten (VVSG) nam hier de rol op als tussenpersoon en contacteerde vertegenwoordigers van de lokale besturen via mail met een korte uitleg van en uitnodiging voor het reflectiemoment. Geïnteresseerden voor deelname aan het reflectiemoment konden dan op hun beurt de onderzoekers contacteren om dit te laten weten.
Initieel zouden de drie reflectiemomenten fysiek doorgaan in het gebouw van het HIVA (te Leuven) in de periode eind maart 2020. Gezien de uitbraak van de COVID-19 epidemie en de daaropvolgende maatregelen werd echter beslist om de fysieke bijeenkomsten uit te stellen tot een niet nader
genoemd moment. Doordat op basis van de evolutie van de epidemie duidelijk werd dat het organiseren van fysieke bijeenkomsten niet snel mogelijk zou zijn, werd beslist om de reflectiemomenten online te laten doorgaan. Opnieuw werden vertegenwoordigers van de SHM’s &
SVK’s, de VZA’s en de lokale besturen gecontacteerd met de vraag of ze wilden en konden deelnemen aan deze online reflectiemomenten. Voor (1) de SHM’s & SVK’s en (2) de VZA’s kon dezelfde lijst van contactpersonen die zich hadden opgegeven in de websurvey gebruikt worden. Voor (3) de lokale besturen werd opnieuw beroep gedaan op de contactpersoon binnen het VVSG om een mail uit te sturen naar eventuele geïnteresseerden.
Uiteindelijk vonden de drie parallelle reflectiemomenten plaats in oktober 2020:
- het reflectiemoment voor de SHM’s/SVK’s ging door op 12 oktober met drie vertegenwoordigers van de organisaties;
- het reflectiemoment voor de VZA’s vond plaats op 13 oktober met zes vertegenwoordigers van VZA’s;
- het reflectiemoment voor de lokale besturen ging door op 14 oktober met zes vertegenwoordigers van lokale besturen.
De lijst van deelnemers is opgenomen in bijlage B.2.
3.4.2 Verloop van de reflectiemomenten
De drie reflectiemomenten kenden een gelijkaardig verloop en duurden telkens ongeveer 2 uur.
Na een korte verwelkoming en introductie van de aanwezigen stelden de onderzoekers de belangrijkste resultaten uit de drie bevragingen voor aan de hand van een PowerPoint presentatie.
Elke presentatie was aangepast aan de specifieke doelgroep waarbij doorheen elke presentatie vragen ter verduidelijking stonden die ook aan het einde van de presentatie herhaald werden.
Zowel tijdens de presentatie als nadien was er ruim de tijd voorzien om de resultaten die voorgesteld werden te bespreken. Zo werd o.a. de vraag gesteld of sommige voorgestelde cijfers realistisch waren.
Andere vragen waren eerder gericht op een verdieping van de resultaten. Naast specifieke vragen over de belangrijkste resultaten werden de deelnemers ook gevraagd naar algemene knelpunten die zij ervaren en naar eventuele voorgestelde beleidsaanbevelingen.
3.4.3 Verwerking van de reflectiemomenten
Van de gesprekken tijdens de drie reflectiemomenten werd telkens een uitgebreid verslag gemaakt.
De reacties en verduidelijkingen van de deelnemers werden toegevoegd aan de bespreking van de resultaten van de websurveys in de volgende drie hoofdstukken (hoofdstukken 4 t.e.m. 6). Daarbij hebben we wel opgenomen vanuit welke organisaties deze inbreng kwam, zonder daarbij te vermelden wie van de deelnemers juist wat gezegd heeft.