Fase 6 Pilot vragenlijstonderzoek

Deze zesde fase in het vooronderzoek was het uitvoeren van een pilot. De pilot vormde de laatste fase die voorafging aan het definitieve vragenlijstonderzoek. De pilot is verricht omwille van acht doelstellingen, die hieronder kort worden genoemd. Vervolgens gaan we in op de steekproef van de pilot, de verzendprocedure en de respons. En ten slotte bespreken we per doelstelling wat onze bevindingen zijn en de laatste aanpassingen in de vragenlijst die op basis daarvan zijn doorgevoerd.

Ten eerste moest op basis van de pilot de optimale en meest responsverhogende verzendprocedure voor het definitieve vragenlijstonderzoek bepaald worden. Ten tweede diende de pilot om te kunnen beoordelen of de respondenten gebruik zouden maken van de online-optie en daarmee of de online-vragenlijst ook in het kader van het definitieve vragenlijstonderzoek een (verstandige) optie zou zijn. Ten derde moest de pilot antwoord geven op de vraag of er voldoende interesse was voor het invullen van de tweede (online- of papieren) vragenlijst. Ten vierde moest op basis van de pilot bepaald worden of de online-vragenlijst voldoende invulbaar was. Ten vijfde werd de pilot uitgevoerd om te kunnen beoordelen in welke mate de respondenten van de online- en de papieren vragenlijst van elkaar verschilden in enkele relevante achtergrondkenmerken (waaronder leeftijd, geslacht, opleidingsniveau en rang). Ten zesde diende de pilot ervoor om de betrouwbaarheid van de verschillende zelf geconstrueerde meetinstrumenten, alsook van de gestandaardiseerde bestaande meetinstrumenten te evalueren. Wat we daar vervolgens mee gedaan hebben, alsook de relevantie ervan, bespreken we verder in paragraaf 3.5. Ten zevende wilden we met de pilot onderzoeken of de vraag om, indien men vaker was uitgezonden, bij het invullen van de vragenlijst een missie te kiezen die in gedachten moest worden genomen bij het antwoorden van de vragen duidelijk genoeg en uitvoerbaar was. Het achtste doel hangt hiermee samen. Met de pilot wilden we inzicht krijgen in de missies die nog meer vertegenwoordigd waren in de steekproef, ondanks het feit dat er van tevoren een keuze was gemaakt voor drie specifieke missies, waaruit de steekproeven

166

getrokken moesten worden. Een dergelijke voorselectie betekent niet automatisch dat ook echt alleen die missies in de steekproef vertegenwoordigd zijn. Dit is het gevolg van het feit dat veteranen steeds vaker meerdere missies op hun naam hebben staan. Ook missies die we niet voor het onderzoek selecteerden, komen in de steekproef terecht. We weten als gevolg daarvan niet wat we precies vergelijken of waarover de onderzoeksresultaten precies gaan. De pilot diende ertoe inzicht te krijgen in de vredesmissies in het kader waarvan de veteranen zoal zijn uitgezonden, naast de missie op basis waarvan zij aan het onderzoek deelnamen.

In 2006 werden in totaal 150 veteranen van drie verschillende missies uitgenodigd om deel te nemen aan het vragenlijstonderzoek. Deze veteranen zijn geregistreerd bij het Veteraneninstituut. Uit dit adresbestand, ofwel het veteranenpasbestand, zijn drie steekproeven getrokken van ieder 50 veteranen (gestratificeerde random steekproeftrekking). Het gaat hier – conform de definitieve steekproef – om twee groepen veteranen: veteranen van een (eerste en een tweede generatie) vredeshandhavende missie¹⁵ en veteranen van een vredesafdwingende missie.¹⁶ Aan deze mensen werd gevraagd of zij wilden meewerken aan het onderzoek en zo ja, of zij een papieren exemplaar van de vragenlijst wilden ontvangen dan wel de vragenlijst online wilden invullen. Zij moesten hiervoor een antwoordformulier invullen en retourneren. Aan de veteranen die aangaven een papieren exemplaar van de vragenlijst te willen ontvangen werd deze met een begeleidende brief toegezonden. De veteranen die aangaven te willen deelnemen aan het online-onderzoek ontvingen een e-mail op het mailadres dat zij op het antwoordformulier hadden ingevuld, met daarin een invulinstructie voor, en de internetlink naar de online-vragenlijst.

In Tabel 3.8 is te zien hoeveel veteranen aan het online-onderzoek wilden meedoen en het aantal dat een papieren exemplaar wilde ontvangen.

Tabel 3.8 Voorkeur voor een online-vragenlijst of voor een papieren exemplaar van de vragenlijst per

vredesmissie Missie Retour aanmeldings - formulier Wenste de papieren vragenlijst in te vullen Wenste de online- vragenlijst in te vullen Wenste geen deelname¹⁷ Non respons aanmeldings-formulier N = 50 Cambodja (UNTAC) 27 12 12 3 23 N = 50 Sinai (MFO) 24 8 12 4 26 N = 50 Irak (Golfoorlog) 21 5 16 1 29

Totale reactie en voorkeuren Totale non-respons

72 (48%) 25 (17%) 40 (27%) 8 (5%)

167

De totale respons op de vragenlijst is 43% (n = 64, 1 persoon vulde de vragenlijst toch niet in). In Tabel 3.9 zien we hoe deze respons verdeeld is over de drie missies en wat per missie de uiteindelijke respons is op de online-vragenlijst en op de papieren vragenlijst. De online-vragenlijst werd het meest ingevuld door veteranen van de eerste Golfoorlog, een vredesafdwingende missie. Van de twintig respondenten vulden slechts vier de papieren vragenlijst in. Verder respondeerden de Cambodja-veteranen het meest. Van deze veteranen vulden dertien de papieren en twaalf de online-versie in.

Tabel 3.9 Respons pilot-onderzoek per missie

Missie Papieren lijst Online-vragenlijst

n = 25 Cambodja (UNTAC) 13 12

n = 19 Sinai (MFO) 7 12

n = 20 Irak (Golfoorlog) 4 16

Totaal 24 (37%) 40 (63%)

Hieronder werken we de bevindingen in het kader van de acht genoemde doelstellingen uit.

Doelstelling 1: Vaststellen van de meest effectieve verzendprocedure

Ten eerste werd op basis van de pilot de meest effectieve en minst tijdrovende verzendprocedure vastgesteld. Aan alle veteranen uit de steekproef (n = 150) is een brief gestuurd met daarin informatie over het onderzoek en de vraag het daarbij gevoegde formulier in te vullen en te retourneren. In dit verband werd gevraagd het formulier ook te retourneren als deelname aan het onderzoek niet gewenst was en dan tevens de reden daarvan op te schrijven. Vervolgens werd, afhankelijk van de wens die veteranen aangaven, ofwel de begeleidende brief met de schriftelijke vragenlijst per post verzonden, ofwel per e-mail aan de veteraan een instructie gestuurd voor de toegang tot en het invullen van de online-vragenlijst. Via een internetlink onderaan de mail kon de respondent in de vragenlijst komen. Aan het einde van zowel de papieren als de online-vragenlijst kon de veteraan aangeven of hij de tweede vragenlijst wilde invullen. De verzending van deze vragenlijst ging conform de verzending van of toegang tot de eerste vragenlijst en vond direct plaats na het ontvangen van de papieren of digitale vragenlijst. De verzendprocedure bleek in de pilot administratief, tijdrovend en kostbaar te zijn. De eerste stap, het versturen en moeten retourneren van een deelnameformulier, is in het definitieve vragenlijstonderzoek weggelaten. Enkele veteranen gaven ook aan deze verzendprocedure omslachtig te vinden. De definitieve verzendprocedure wordt in paragraaf 3.4.3 besproken.

168

Doelstelling 2: Bepalen van het medium van de definitieve vragenlijst

Ten tweede onderzochten we op basis van de pilot of het online-onderzoek in het kader van het definitieve vragenlijstonderzoek een (verstandige) optie zou zijn. Dit konden we vaststellen op basis van de respons op de online- en papieren vragenlijsten. De respons op de online-vragenlijst bleek hoger te zijn dan de respons op de papieren vragenlijst (Tabel 3.8 en 3.9), respectievelijk 63% en 37% van de totale respons. De online-enquête is echter maar door 33 respondenten helemaal ingevuld. Door zeven respondenten is alleen een begin gemaakt en werd de vragenlijst halverwege afgebroken. De online-versie werd desondanks beter gebruikt. Ook de tweede vragenlijst is door meer mensen online ingevuld (19 tegen 11 respondenten die de papieren vragenlijst invulden). Het was belangrijk om een adequate manier te vinden om de respons op de online-vragenlijst te verhogen, want relatief gezien hadden toch nog veel respondenten de papieren vragenlijst ingevuld. Een enkeling vulde eerst de online-vragenlijst in en gaf aan van vragenlijst Deel 2 het papieren exemplaar te willen ontvangen.

Ook de bovenstaande bevindingen hebben geleid tot de korte verzendprocedure die we in paragraaf 3.4.3 bespreken, inclusief de keuze voor een vooraankondiging van het vragenlijstonderzoek middels een briefkaartje waarop ook al de internetlink naar de online-vragenlijst vermeld werd.

Doelstelling 3: Peilen van interesse voor een tweede vragenlijst

Ten derde moest met de pilot worden onderzocht of er überhaupt voldoende interesse was voor de tweede vragenlijst. 54% (van n = 64) van de respondenten die de eerste vragenlijst invulden vulde ook de tweede vragenlijst in. Dit is voldoende om de tweede vragenlijst ook in het definitieve onderzoek op te nemen. Uit Figuur 3.1 blijkt dat online-respondenten vaker aangeven aan het vervolgonderzoek te willen deelnemen. Het lijkt er op dat de optie een vragenlijst online te kunnen invullen respons verhogend werkt.

169

Figuur 3.1 Respondenten van de online-vragenlijst (% van n = 40) en van de papieren vragenlijst (% van n = 24) die al dan niet de tweede vragenlijst wilden invullen

0 10 20 30 40 50 60 70 80

online-vragenlijst papieren vragenlijst

Doelstelling 4: Invulbaarheid online-vragenlijst bepalen

Ten vierde is op basis van de pilot onderzocht of de online-vragenlijst voldoende invulbaar was. Het belangrijkste resultaat hiervan is ten eerste dat er moest worden voorkomen dat de antwoorden uit de online-vragenlijst minder betrouwbaar zijn dan die uit de papieren vragenlijst. Daarnaast bleek dat ervoor gewaakt moest worden dat er onnodig een responsverschil zou ontstaan voor bepaalde vragen. Met dit verschil moest rekening gehouden worden bij de vergelijking van de online-vragenlijst met de papieren online-vragenlijst. Het gaat hier om het nadeel dat ontstaat als we voor vragenlijstonderzoek zowel gebruik zouden maken van een schriftelijke als een online-optie. In de online-vragenlijst kan worden ingesteld dat de vragen verplicht moeten worden ingevuld. Indien deze functie is ingesteld, kan de respondent het invullen van de vragenlijst niet voortzetten wanneer hij een vraag, al dan niet bewust, heeft overgeslagen. Omdat deze functie op veel plaatsen was ingesteld, zou een vertekend beeld kunnen ontstaan als we de respons op bepaalde vragen in de papieren vragenlijst zouden vergelijken met de respons op dezelfde vragen in de online-vragenlijst. De kans zou groot zijn dat een verschil in respons - waarbij de respons op de vragen in de online-vragenlijst hoger zullen liggen - toe te schrijven is aan de verplichting de vragen in te vullen. De respondent kon anders immers niet verder gaan met de vragen die nog volgden.

Er moest op verantwoorde wijze gekozen worden voor het al dan niet verplicht stellen van het invullen van de vragen in het online-onderzoek. De verplichte beantwoording moest in principe zo veel mogelijk beperkt worden tot het hoogst noodzakelijke, ook om voortijdig afbreken van het invullen van de vragenlijst en daarmee responsverlaging te voorkomen. Als van beide opties (zowel digitaal als analoog) gebruikgemaakt mag worden, zou de verplichte invoering, zoals kan worden

170

ingesteld bij de online-enquête, helemaal moeten worden beperkt. Hiermee moest voorkomen worden dat de papieren vragenlijst meer waarheidsgetrouw werd ingevuld dan de online-vragenlijst.

Doelstelling 5: Vaststellen van verschillen in achtergrondkenmerken van respondenten

Ten vijfde is gekeken of de achtergrondkenmerken van de online-respondenten verschilden van de respondenten die een papieren vragenlijst invulden. Dat kan duiden op de noodzaak om ook gebruik te blijven maken van papieren vragenlijsten. Als we kijken naar enkele demografische en professionele kenmerken van de respondenten, dan blijken de groepen van elkaar te verschillen. De online-respondenten zijn gemiddeld genomen hoger opgeleid (Figuur 3.2).¹⁸

Figuur 3.2 Opleidingsniveau respondenten papieren vragenlijst en online-vragenlijst (%)

0 10 20 30 40 50 60 laag opgeleid middelbaar opgeleid hoog opgeleid papieren vragenlijst online-vragenlijst

De gemiddelde leeftijd van de ‘online’-respondenten is 50.03 jaar (standaarddeviatie 11.381) en van de respondenten die voor de papieren vragenlijst kozen 53.33 jaar (standaarddeviatie 10.523). Bij de papieren vragenlijst was 5% vrouw en 95% man. Alleen mannen vulden de vragenlijst online in. Bij de online-respondenten lagen de rangen beduidend hoger. Daarnaast had 62% een leidinggevende functie gedurende de uitzending. In Tabel 3.10 zien we nog verdere verschillen voor wat betreft dienstverband en krijgsmachtdeel gedurende de uitzending (eerste uitzending, indien vaker uitgezonden). Van de online-respondenten bleken ook meer mensen vaker dan één keer uitgezonden te zijn geweest.

171 Tabel 3.10 Professionele kenmerken respondenten

Professionele kenmerken gedurende de uitzending Respondenten papieren vragenlijst Respondenten online-vragenlijst Dienstverband Beroepsmilitair (BOT, BBT) Dienstplichtig

Vrijwillig nadienen/korte verlenging

47% 5% 48% 52% 14% 34% Krijgsmachtdeel Koninklijke landmacht Koninklijke marine Koninklijke luchtmacht Koninklijke marechaussee Korps mariniers Anders 24% 28% 5% 5% 28% 10% 52% 18% - 6% 24% -

Leidinggevende functie gedurende de uitzending 38% 62%

Uitzendfrequentie Een Twee Drie Vier > Vier 52% 23% 9% 9% 7% 45% 30% 15% 10% -

Indien alleen van de online- of alleen van de papieren optie gebruik zou worden gemaakt, zou rekening gehouden moeten worden met de verschillen in achtergrondkenmerken van de respondenten (selectieve groepssamenstelling). We zien immers dat het opleidingsniveau in de online-groep (naast hogere rang en vaker een leidinggevende functie) gemiddeld hoger en de leeftijd gemiddeld lager ligt.

Doelstelling 6: Onderzoek naar betrouwbaarheid van schalen

Ten zesde is voor de verschillende zelf geconstrueerde meetinstrumenten, alsook voor de gestandaardiseerde bestaande instrumenten, de betrouwbaarheid van de schalen onderzocht. In paragraaf 3.5, waar we ingaan op de operationalisering van de theoretische dimensies, wordt hieraan verder aandacht besteed. Steeds wordt bij de operationalisering van de variabelen de betrouwbaarheid van meetinstrumenten genoemd, zoals we die in de pilot en in het definitieve onderzoek vonden. Tevens wordt, als derde indicatie van de mate van betrouwbaarheid van de schalen uit de gestandaardiseerde meetinstrumenten, verwezen naar de betrouwbaarheden die we vonden in eerder onderzoek.

172

Doelstelling 7: Vaststellen van de haalbaarheid van een keuze voor een specifieke missie

Ten zevende moest worden onderzocht of de vraag tot kiezen van een specifieke missie voor de beantwoording van de vragen - indien men vaker was uitgezonden - duidelijk genoeg was, alsook of deze opdracht reëel was.

“Voor wat betreft de vragenlijst is het soms moeilijk om een juist antwoord op de vragen te geven vanwege mijn 4 uitzendingen. Verder heb ik een uitzending gehad van 18 maanden naar Nieuw-Guinea die voor mij meer betekend heeft dan de 4 vredesoperaties tezamen.”

Zonder een restrictie in de besproken missies zouden we niet weten over welke missies de onderzoeksresultaten gaan. In ons onderzoek moesten veteranen van tevoren kiezen met welke missie in gedachten ze de vragenlijst wilden invullen. Op die manier streven we naar de juiste interpretatie van de analyseresultaten. In de definitieve vragenlijst is de instructie over het kiezen van een uitzending voor beantwoording van de vragen nog meer aangescherpt. De opdracht bleek in de pilot goed uitvoerbaar.

Doelstelling 8: Inzicht in daadwerkelijk vertegenwoordigde missies

Tot slot hebben we op basis van de pilot inzicht gekregen in de daadwerkelijk vertegenwoordigde missies in de steekproef. Tevens werd de verwachting bevestigd dat een grote groep veteranen, namelijk bijna 50%, vaker dan één keer werd uitgezonden en dus meerdere missies op zijn naam heeft staan.

In Figuur 3.3 zien we dat de missies die we beogen te onderzoeken (MFO, Golfoorlog en UNTAC) inderdaad het meest vertegenwoordigd zijn in de onderzoeksgroep. Daarnaast worden er maar liefst dertien andere missies genoemd. In het definitieve onderzoek zijn controlevragen opgenomen, voor veteranen die vaker werden uitgezonden. Deze bespreken we in paragraaf 3.5.1 (Tabel 3.18). Daarnaast wordt expliciet gevraagd naar de gekozen missie voor de beantwoording van de vragen. In het definitieve onderzoek bleek de gekozen missie over het algemeen die missie te zijn die in de antwoorden op de controlevragen het meest genoemd werd.

173 Figuur 3.3 Missies vertegenwoordigd in de pilot (frequentie¹⁹)

0 5 10 15 20 25 SFIR ISAF Enduring Freedom UNMEE KFOR IFOR/SFOR Provide Care UNPROFOR UNTAC UNAVEM Golfoorlog UNTAG MFO UNIFIL UNTSO Nederlands Nieuw-Guinea

Op basis van de pilot konden we ten eerste concluderen dat de verzendprocedure voor het vragenlijstonderzoek in principe één enkele stap kan inhouden (een briefkaart met een ‘internetlink’ naar de online-vragenlijst). Ten tweede bleek het nog steeds beter om aan te geven dat ook gebruikgemaakt kon worden van de mogelijkheid een papieren exemplaar van de vragenlijst te ontvangen en in te vullen en deze mogelijkheid open te houden. Ten derde zou duidelijk moeten worden aangegeven dat de respondent – indien hij vaker werd uitgezonden – één missie zou moeten kiezen op basis waarvan hij de vragen zou dienen te beantwoorden. Die missie zou vooraf aan de beantwoording van de vragen worden bepaald, vervolgens genoemd en in gedachten moeten worden gehouden. In de volgende paragraaf wordt de definitieve vragenlijst besproken, waarin de vastgestelde tekortkomingen uit de pilot ondervangen zijn.