• No results found

Vragen over antwoorden. Onderzoek naar de effecten van en tevredenheid over online opvoedingsadviezen

N/A
N/A
Protected

Academic year: 2022

Share "Vragen over antwoorden. Onderzoek naar de effecten van en tevredenheid over online opvoedingsadviezen"

Copied!
71
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

Vragen over antwoorden

Onderzoek naar de effecten van en tevredenheid over online opvoedingsadviezen

Juni 2009 Auteur: Angela de Rie Opdrachtgever: Ouders Online

(2)

Scriptie:

Vragen over antwoorden, onderzoek naar de effecten van en tevredenheid over online opvoedingsadviezen op

www.ouders.nl Beoordelend docent: Drs. C. Weerkamp SLB-docent Drs. M. Van Heerebeek

Opleiding Pedagogiek

Naam: Angela de Rie

Studentennummer 438746

Klas: PPAKFDT

Inleverdatum: 22 juni 2009

Toetscode: 3505MD411C

(3)

Inhoud

Voorwoord ... 5

1. Samenvatting ... 6

2. Inleiding ... 7

2.1 Externe ontwikkelingen ... 7

2.1.1 Centra voor jeugd en gezin gaan zorgen voor laagdrempelige opvoedingsinformatie.... 7

2.1.2 Niet iedereen met opvoedingsvragen wordt nu bereikt ... 7

2.1.3 Werkveld opvoedingsondersteuning is divers ... 7

2.1.4 Onderzoek naar (online) opvoedingsondersteuning is gewenst... 8

2.1.5 Adviseren via internet over opvoeden heeft voor- en nadelen ... 8

2.2 Kennismaking met de opdrachtgever: Ouders Online... 9

2.2.1 www.ouders.nl: het versterken van de eigen kracht van ouders ... 9

2.2.2 Ouders Online is geen hulpverleningsinstelling, maar biedt wel hulp ... 9

2.2.3 Online pedagogisch advies via de vraagbaak Opvoeding en Gedrag... 9

2.3 De noodzaak van het onderzoek... 9

2.4 Richting van het onderzoek en opzet van het rapport ... 10

3. Theoretisch onderzoek naar pedagogische adviezen en de effecten daarvan ... 11

3.1 Centrale vraag ... 11

3.2 Definities... 11

3.3 Onderzoeksvragen ... 11

3.4 Het pedagogisch advies in theorie ... 12

3.4.1 Kenmerken en doelstellingen pedagogische advisering ... 12

3.4.2 Theorie over opvoedingsondersteuning ... 12

3.4.3 Methodiek van pedagogisch adviseren: Empowerment en samenwerken... 13

3.4.4 Werkwijze van de pedagogisch adviseur ... 13

3.4.5 Pedagogisch advies: wie, wat en waar... 14

3.4.6 (Opvoed)advies via internet: non-verbale communicatie ontbreekt ... 15

3.4.7 Ouders zijn het meest gebaat bij praktische adviezen, begrip en steun ... 16

3.5 Het meten van effectiviteit ... 16

3.5.1 Definitie van effecten ... 17

3.5.2 Redenen om effecten te meten: wat levert de investering op ... 17

3.5.3 Pedagogisch adviseurs werken met impliciete kennis ... 17

3.5.4 Effectenonderzoek in de jeugdzorg ... 18

3.5.5 Effectenonderzoek naar pedagogische adviezen: ouders zijn tevreden ... 18

3.5.6 Conclusie literatuuronderzoek ... 19

3.6 Model voor online pedagogisch adviesproces ... 19

3.7 Hypothesen voor het diepteonderzoek... 20

4. Globaal onderzoeksontwerp... 21

4.1 Type onderzoek en dataverzameling ... 21

4.2 Onderzoeksprocedure ... 21

4.3 Respondenten en documenten ... 22

4.4 Onderzoeksinstrumenten ... 22

4.5 Resultaten van de enquête ... 22

5. Verslag diepteonderzoek... 23

5.1 Opzet... 23

5.1.1 Documentanalyse... 23

5.1.2 Vraagbaakanalyse... 23

5.1.3 Interviews ... 23

5.1.4 Enquête ... 24

5.2 Beschrijving verloop van onderzoek... 24

5.2.1 Documentanalyse: bedrijfsgevoelige informatie ... 24

5.2.2 Vraagbaakanalyse: het operationaliseren van criteria... 24

5.2.3 Interviews: kort en krachtig... 25

5.2.4 Enquête: door lage respons geen volledige data-analyse... 25

5.3 Resultaten ... 26

5.3.1 Documentanalyse: spelregels en criteria... 26

(4)

5.3.2 Vraagbaakanalyse: interpretatie van de vraag ... 27

5.3.3 Interviews: voorzichtige deskundigen... 29

5.3.4 Enquête: tevreden respondenten die de gevoelens van hun kind beter begrijpen... 30

5.4 Toetsing van de hypothesen ... 32

5.5 Model voor pedagogisch adviesproces Ouders Online ... 33

5.6 Verslag werkwijze diepteonderzoek ... 33

6. Inhoudelijke beoordeling opdrachtgever ... 35

7. Conclusies en aanbevelingen ... 36

7.1 Conclusies... 36

7.1.1 Aan het adviesproces bij Ouders Online ontbreekt een evaluatie... 36

7.1.2 Door gebrek aan informatie is een persoonlijk advies soms onmogelijk ... 36

7.1.3 Empowerment door de vraagbaak: ik denk meer na over hoe mijn kind zich voelt... 36

7.1.4 Tevreden respondenten geven een gemiddeld rapportcijfer van 7,9 ... 36

7.2 Aanbevelingen... 37

7.2.1 Complementeer het hulpverleningsproces met een evaluatie direct na afloop ... 37

7.2.2 Operationaliseer samen met de deskundigen de kwaliteitscriteria... 37

7.2.3 Breng structuur aan op de website... 37

7.2.4 Onderzoek de mogelijkheid om het pedagogisch advies uit te breiden ... 37

7.2.5 Vind het wiel niet opnieuw uit ... 38

7.3 Model voorstel online pedagogisch adviesproces Ouders Online... 38

8. Implementatie... 39

9. Literatuuroverzicht... 40

9.1 Plan van aanpak... 40

9.2 Onderzoeksplan ... 40

9.3 Eindverslag... 41

9.4 Ondersteunende literatuur... 41

9.5 Interviews ... 41

9.6 Internetsites... 42

Bijlage 1: Inhoudelijke beoordeling opdrachtgever... 43

Bijlage 2: The Four-email Exchange Model of E-counseling... 45

Bijlage 3: Vragenlijst interview deskundigen ... 46

Bijlage 4: Enquête ... 47

Bijlage 5: Interne documenten Ouders Online ... 53

Bijlage 6: Resultaten enquête ... 54

Bijlage 7: Tabellen onderzoeksresultaten enquête ... 65

Bijlage 8: Opmerkingen en suggesties van respondenten enquête ... 69

Bijlage 9: Literatuuronderzoek... 71

(5)

Voorwoord

Evenwicht vinden

Het ouderschap kent zoveel paradoxen Dat het moeilijk is je balans te vinden Sommige ouders proberen het niet eens Ze storten zich er helemaal in

En negeren hun innerlijke stem

Anderen wagen een halfslachtige poging Maar grijpen op oude methoden terug Zodra ze in de war raken.

Er zijn ook ouders die wel luisteren Naar de stem van wijsheid

En er hun tweede natuur van maken.

Zij ontdekken kracht in zachtheid, Sterkte in flexibiliteit,

Volmaaktheid in fouten Succes in mislukking Helderheid in verwarring, Liefde in loslaten.

Uit: De Tao Te King voor Ouders (William Martin, 1999)

Deze wijze woorden over ouderschap en opvoeden hebben niet alleen te maken met het onderwerp van mijn onderzoek. Het is ook veelzeggend voor de manier waarop dit onderzoek naar de effecten van online pedagogische adviezen tot stand is gekomen.

Want ook ik heb me helemaal gestort op het onderzoek, ben enthousiast aan de slag gegaan en vervolgens in de war geraakt door de enorme hoeveelheid informatie die op mij af kwam. Na een middagje lekker spelen met mijn kinderen en een goed gesprek met mensen die mijn onderzoek een warm hart toedroegen, kwam er vaak weer inzicht in de chaos.

Mijn dank gaat dan ook uit naar iedereen die mij heeft geholpen op mijzelf te vertrouwen en af en toe tipte om gewoon eens een middagje niets te doen. Allereerst is dat uiteraard mijn

opdrachtgever Henk Boeke van Ouders Online geweest, die mij inhoudelijk scherp stelde, maar af en toe ook mailde: “Relax!!!”, mijn partner die mij wegwijs heeft gemaakt in de statistische wereld en af en toe riep: “Ik begrijp echt niet waar dit over gaat.” En tot slot het ouderpanel, de betrokken deskundigen, de afstudeerkring en mijn afstudeerbegeleider.

(6)

1. Samenvatting

Mijn zoon verzamelt meisjeskleren. Hoe moet ik daarmee omgaan? (12 jr)

In het antwoord van de deskundige op de website van Ouders Online worden verschillende scenario’s geschetst over wat er aan de hand zou kunnen zijn met de zoon. Waarbij er een toelichting volgt op de verschillende termen. De deskundige benoemt de ontkenning van de zoon en duidt dat op intense schaamte. Om af te sluiten met mogelijke opties over wat je zou kunnen doen.

In hoeverre de vragensteller tevreden is over het antwoord en er daadwerkelijk ook iets mee kan doen is het onderwerp van dit onderzoek. De centrale vraag is: Wat is het effect van de

pedagogische advisering die door professionals wordt geboden via de vraagbaak opvoeding en gedrag van Ouders Online?

Uit het onderzoek is gebleken dat de 48 respondenten van de enquête die de afgelopen twee jaar een persoonlijk antwoord hebben gekregen op hun vraag een gemiddeld rapportcijfer van 7,9 hebben gegeven. 60,9% geeft aan dat ze het eens zijn met de stelling dat ze door het advies meer nadenken over hoe hun kind zich voelt. Dit advies heeft er bij 43,5% van de ouders nog niet toe geleid dat hun kind zich meer is gaan gedragen zoals de respondent het zou willen. Er kan gezegd worden dat er een bewustwording is ontstaan, maar dat het advies in veel gevallen bij de respondenten nog niet heeft geleid tot een kennelijk door de respondent gewenste

gedragsverandering bij het kind. Bovendien is uit het onderzoek gebleken dat er een (niet significant) verband bestaat tussen het toegekende rapportcijfer van de respondent en de mate waarmee men het eens was met de stelling “Door het advies zoek ik vaker naar informatie wanneer ik iets wil weten over het gedrag van mijn kind.” Naarmate men het meer eens is met deze stelling, wordt het gemiddelde rapportcijfer hoger.

Het pedagogische advies wordt verstrekt door deskundigen (pedagogen en psychologen) via de website www.ouders.nl. Zij gebruiken daarbij veelal het model van pedagogisch adviseren, dat is opgezet voor pedagogisch advies in een persoonlijk gesprek. Uit het theoretisch onderzoek is echter gebleken dat er grote verschillen bestaan tussen pedagogisch adviseren via internet en in een persoonlijk gesprek: de non-verbale communicatie ontbreekt immers volledig. Uit het

diepteonderzoek blijkt dat het voor de deskundigen vooral lastig is om op basis van een vraag die per e-mail is gesteld een diagnose te stellen. Ook omdat de evaluatie bij ouders tot nu toe niet heeft plaats gevonden, is het onduidelijk geweest wat het effect van het advies was. Een van de belangrijkste aanbevelingen van het onderzoek is om deze evaluatiefase standaard in te voeren.

Een andere aanbeveling ten aanzien van het adviesproces is om met de betrokken deskundigen een gesprek te voeren over de kwaliteitscriteria van Ouders Online ten aanzien van het

pedagogische advies en hoe deze geoperationaliseerd kunnen worden. Uit het

hulpverleningsproces blijkt dat op verschillende momenten de kwaliteit van het antwoord wordt getoetst. In het onderzoek is echter geconstateerd dat de deskundigen de vraag niet altijd goed kunnen interpreteren, als het ontbreekt aan belangrijke informatie in de vraag. Al voldoet een antwoord aan alle kwaliteitscriteria, dan nog zal de vragensteller niet tevreden zijn. In de bovenstaande vraag over de jongen die meisjeskleren verzamelt, geeft de deskundige om die reden verschillende verklaringen voor het gedrag. Het ontbreekt haar aan meer informatie om een diagnose te stellen en een meer persoonlijk advies te geven.

Het onderzoek heeft plaatsgevonden in de periode februari tot en met juni 2009 in opdracht van Ouders Online. Het bestaat uit een theoretisch kader en een diepteonderzoek. Het theoretisch kader heeft geleid tot een model over pedagogisch adviseren via internet. Het diepteonderzoek bestaat uit een documentanalyse, interviews met drie betrokken deskundigen en een enquête, waarop uiteindelijk 48 mensen hebben

gereageerd (een respons van 28,7%). Het diepteonderzoek heeft geleid tot een model over pedagogisch adviseren zoals dat plaatsvindt bij Ouders Online. De aanbevelingen zijn gebaseerd op een vergelijking van het theoretische model met het model van Ouders Online.

(7)

2. Inleiding

Opvoedingsondersteuning via internet, is dat wel mogelijk? Internet is inmiddels een

massamedium geworden en veel mensen maken er gebruik van om informatie op te zoeken, ook over opvoeding. Het is echter onduidelijk wat ze vervolgens met deze informatie doen, wat er gebeurt wanneer ze een vraag stellen bij de vraagbaak bij Ouders Online en daar een antwoord op krijgen van een deskundige. Zijn ze tevreden over het antwoord, verandert het iets aan hun inzicht in het probleem dat ze ervaren, is het probleem wellicht opgelost door de adviezen op te volgen of is het een eerste stap om verder hulp te zoeken? Allemaal vragen waar tot op heden eigenlijk nog geen antwoord op gegeven kan worden.

In deze inleiding schets ik in eerste instantie de actuele thema’s rondom

opvoedingsondersteuning die op dit moment spelen, waarna een kennismaking volgt met de opdrachtgever van dit onderzoek Ouders Online. Om vervolgens stil te staan bij een schets van de probleemsituatie zoals die voor de opdrachtgever geldt. Ik sluit deze inleiding af met de noodzaak die er is ontstaan voor dit onderzoek en een vooruitblik op het onderzoeksrapport.

2.1 Externe ontwikkelingen

2.1.1 Centra voor jeugd en gezin gaan zorgen voor laagdrempelige opvoedingsinformatie Opvoedingsondersteuning valt onder het ministerie voor Jeugd en Gezin, die het plan heeft gevat om Centra voor Jeugd en Gezin op te richten. Een centrum voor Jeugd en Gezin is een

gemeentelijk samenwerkingsverband van verloskundigen, consultatiebureaus,

jeugdgezondheidszorg, welzijnswerk en bureaus jeugdzorg waar ouders met vragen over de ontwikkeling, gezondheid en opvoeding van hun kind terecht kunnen. Op dit moment zijn de centra in diverse gemeentes al van de grond gekomen. Het beleid voor de Centra staat beschreven in de nota “Alle kansen voor alle kinderen”. In de nota die eind december 2008 is verschenen staat dat de Centra voor Jeugd en Gezin ervoor moeten zorgen dat er laagdrempelige opvoedingsinformatie en –ondersteuning beschikbaar moet zijn voor alle opvoeders die daar behoefte aan hebben1.

2.1.2 Niet iedereen met opvoedingsvragen wordt nu bereikt

Of dat al lukt, valt nog maar te bezien. Uit onderzoek van JSO2 (Van den Berg, 2005) blijkt dat vaak nog niet bekend is wat de mogelijkheden zijn die binnen de gemeente worden geboden, dat ouders tot het 4e jaar tevreden zijn over de ondersteuning, maar daarna zelf veel moeten

ontdekken. Ouders zouden graag liever in een eerder stadium worden geïnformeerd over diverse zaken. De nog niet door de hulpverlening bereikte doelgroepen zijn volgens dit onderzoek:

hoogopgeleide ouders, alleenstaande ouders, gereformeerde ouders en allochtone ouders. Wat als belemmering wordt ervaren, zit onder andere in de vindplaats (waar kan ik terecht met mijn vraag?), het gebrek aan vertrouwen (pakken ze mijn kind niet af?), de culturele verschillen (we spreken niet dezelfde taal), de ondersteuningsbehoefte, de sociale acceptatie van het probleem en de communicatie.

2.1.3 Werkveld opvoedingsondersteuning is divers

Er zijn diverse vormen van opvoedingsondersteuning, maar de gemeenschappelijke kenmerken zijn toch wel dat het met opvoeders plaats vindt, dat het gericht is op de verbetering van de opvoedingssituatie, dat het ouders helpt bij hun opvoedingstaken en hun ondersteunt in hun rol als opvoeder. De opvoedingsondersteuning varieert van lichte tot meer intensieve vormen3. De bekendste functies van opvoedingsondersteuning zijn: het signaleren van problemen, het

informeren over achtergronden, het adviseren, en het bieden van sociale en praktische steun. Dit wordt gedaan op verschillende manieren, afhankelijk van de ernst van het probleem en de

1Zie: (http://www.nji.nl/eCache/DEF/5/634.html

2JSO is het expertisecentrum Jeugd Samenleving Opvoeding 3Zie: http://www.nji.nl/eCache/DEF/8/715.html

(8)

behoefte van de ouder. Veel gebruikte interventies op het gebied van opvoedingsondersteuning zijn (Prinsen, 2006): pedagogisch advies op maat, individuele opvoedingsvoorlichting op maat, themabijeenkomsten, signalering pedagogische en psychosociale problematiek,

gestandaardiseerde individuele opvoedingsvoorlichting en buurtnetwerk jeugdhulpverlening. Dit wordt zowel aangeboden in de publieke sector als door commerciële organisaties. Meer hierover in § 3.4.5.

2.1.4 Onderzoek naar (online) opvoedingsondersteuning is gewenst

In hoeverre kunnen de effecten gemeten worden van opvoedingsondersteuning? Dat is met de toenemende belangstelling voor opvoedingsondersteuning steeds belangrijker. Het internationale programma Triple P dat staat voor Positive Parenting Program is een van de evidence based opvoedprogramma’s. Uit buitenlands onderzoek blijkt dat Triple P ouders helpt hun kinderen positiever op te voeden, waardoor gedragsproblemen bij kinderen uitblijven of in heftigheid afnemen. Het ziet er naar uit dat het eerste Nederlandse onderzoek hiernaar met vergelijkbare resultaten zal komen. (Speetjens, P. e.a. in Jeugd en Co Kennis, nr. 2, 2007) Over

effectiviteitmeting, waar het Nederlands Jeugd Instituut een belangrijke partij in is wordt gezegd dat het effect vaak ook te maken heeft met zaken als de leefsituatie van de cliënt, zijn

verwachtingen en de houding van de professional. Hiermee kan gezegd worden dat ook al is een programma in theorie effectief, het nog niet willen zeggen dat het in iedere situatie effect zal hebben. Het werken met een 'evidence based' programma is wel één van de kwaliteits- en effectiviteitscriteria.”4 Meer hierover in § 3.5.4.

In 2007 is er onderzoek (Versteeg, 2007) gedaan naar de effectiviteit en laagdrempeligheid van pedagogische spreekuren. Ouders die deze spreekuren bezochten bij Oke-punten in Almere, werd gevraagd twee vragenlijsten in te vullen. Hiervoor werd gebruik gemaakt van

gestandaardiseerde vragenlijsten (SDQ, NOSI-k en vragenlijst Empowerment). Een van de conclusies was dat er positieve effecten werden genoemd door de ouders. Ze waren tevreden over de bejegening van de opvoedadviseur en ze vonden dat er sprake was van een besef van algemene verbetering van zichzelf als opvoeder. Meer hierover is te vinden in § 3.5.5.

Naar de effecten van online opvoedingsondersteuning is nog geen onderzoek gedaan. Henk Dries (specialist kenniscentrum opvoedingsondersteuning Nederlands Jeugd Instituut) schrijft hierover in een mail, dat er nauwelijks tot geen onderzoek is gedaan naar de effecten van online

opvoedingsondersteuning. Ook in het rijksbeleid is er volgens hem tot nu toe weinig aandacht geweest. Wel is er onderzoek gedaan naar Interapy, een online behandeling voor

posttraumatische stress en pathologische rouw, waarbij alle contacten tussen behandelaars en cliënten plaatsvinden via internet. De 20 studenten die daaraan meededen verbeterden significant onder invloed van de behandeling, ze waren na afloop klinisch hersteld. Het werd vergeleken met een vergelijkbare controlegroep die face to face werd behandeld. (V.d Ven e.a 1999)

2.1.5 Adviseren via internet over opvoeden heeft voor- en nadelen

Internet is steeds meer een massamedium geworden waar mensen op zoek gaan naar informatie, ook informatie over opvoeding. De meest geraadpleegde opvoedsites zijn www.jmpubers.nl, www.ouders.nl en www.opvoedendoejezo.nl (deze laatste is sinds februari 2009 niet meer beschikbaar). Koks (2008) noemt in haar onderzoek een overzicht van websites waar ouders terecht kunnen voor deskundig advies: www.opvoedadvies.nl, www.opvoedingonline.nl,

www.onlinepedagoog.nl en www.opvoedkundige.com. (Koks, 2008) De stichting Korrelatie tot slot houdt zich bezig met hulpverlening (zowel telefonisch als digitaal) op het terrein van zorg en welzijn.

Welke informatie zoeken de ouders op deze websites? Uit onderzoek naar Ouders Online van een aantal studenten van de Fontys Hogeschool – dat wordt vermeld in een onderzoek van

Petermeijer - is gebleken dat 77% graag informatie wil krijgen, 16% herkenning wil vinden, 4%

4Zie: http://www.nji.nl/eCache/DEF/48/601.html

(9)

een mening wil horen en 3% op zoek is naar een luisterend oor. (Petermeijer, 2008). De reden dat ouders kiezen voor het internet als informatiebron over opvoeding is dat het laagdrempelig is, dat ze informatie kunnen uitwisselen met andere ouders en dat het voldoet aan hun behoefte. Naar de nadelen van online counseling in de Verenigde Staten is onderzoek gedaan door Haberstroh. Hij noemt hierin dat het voor de hulpverlener lastig is dat hij geen oogcontact heeft, hij ziet geen lichaamstaal, hoort geen stemvervormingen. Daarnaast spelen er andere ethische kwesties: wie heb ik voor me. Wat als ik moet ingrijpen in het geval van calamiteiten? (Haberstroh, 2007). De voordelen van online opvoedingsondersteuning worden genoemd op de website van

www.onlinepedagoog.nl: het is goedkoper, laagdrempelig, het overbrugt afstand, het is anoniem en je kunt het in je eigen tijd doen. In § 3.4.6 wordt hier nader op ingegaan.

2.2 Kennismaking met de opdrachtgever: Ouders Online

In deze paragraaf vindt een korte introductie plaats van de opdrachtgever Ouders Online en de website www.ouders.nl waar de vraagbaak Opvoeding en gedrag wordt gepubliceerd. Waarna een beschrijving volgt van de noodzaak van het onderzoek en de richting waarin dit onderzoek op zal gaan.

2.2.1 www.ouders.nl: het versterken van de eigen kracht van ouders

“Ouders Online is een onafhankelijke website en serviceorganisatie voor ouders en toekomstige ouders. Zij kunnen onderling gegevens uitwisselen, vragen stellen aan deskundigen, en ruim 20.000 pagina's aan onmisbare informatie raadplegen. De belangrijkste doelstelling van Ouders Online is het versterken van de eigen kracht van ouders. De site bestaat sinds begin 1996 en wordt dagelijks door duizenden ouders in binnen- en buitenland bezocht. De toegang is gratis.”

(Boeke, 2009)

Ouders Online is opgericht in de jaren negentig en het verschafte destijds vooral informatie over opvoeding aan de hoogopgeleide man, zij waren de eerste internetgebruikers. Inmiddels is 90%

van de bezoekers vrouw en wordt het ook bezocht door mensen met lagere opleidingsniveaus en lagere inkomens.

2.2.2 Ouders Online is geen hulpverleningsinstelling, maar biedt wel hulp

De toegang tot Ouders Online is gratis, de organisatie is geen hulpverleningsinstelling, maar biedt wel hulp. Het wordt bekostigd door advertentie-inkomsten en sponsoring. Daarnaast wordt er door de oprichters op kleine schaal boeken verkocht, worden er lezingen gehouden en adviezen

gegeven over online hulpverlening. Voor grote investeringen is er de stichting “Vrienden van Ouders Online”.

Ouders Online werkt samen met instanties als het AMC (Emma Kinderziekenhuis), het RIVM, het NICAM en pedagogiek.net. Daarnaast is samen met KPN het expertisecentrum“Mijn Kind Online”

opgericht. Tot slot is er een samenwerkingsverband met de Stichting Korrelatie die een aantal opvoedvragen voor haar rekening neemt (Boeke, 2009)

2.2.3 Online pedagogisch advies via de vraagbaak Opvoeding en Gedrag

Ouders Online heeft een aantal vraagbaken, waarvan de vraagbaak Opvoeding en Gedrag de meest gebruikte is. Er komen maandelijks ongeveer 2000 vragen binnen die persoonlijk beantwoord worden door de deskundigen of waarvoor verwezen wordt naar al bestaande informatie op de website.

2.3 De noodzaak van het onderzoek

Er zijn verschillende redenen waarom dit onderzoek gewenst is. Allereerst is Ouders Online lange tijd niet serieus genomen door diverse organisaties in de sector opvoedingsondersteuning in Nederland. Het had als functie om het onderlinge oudercontact te faciliteren (via het forum) en voor echte adviezen moesten ouders naar de hulpverlenende instanties toe. (Pardoen, 2009) Inmiddels zijn er diverse gerenommeerde deskundigen betrokken bij de website en heeft het Nederlands Jeugd Instituut het uitgeroepen tot veelgebruikte methode voor laagdrempelige opvoedingsondersteuning5 . Ten tweede is er vanuit het ministerie voor Jeugd en Gezin aan

5Zie: http://www.nji.nl/opvoedingsondersteuning/download/Richtlijngemeentelijkeopvoedingsondersteuning.pdf

(10)

Ouders Online nu ook gevraagd om mee te denken over de mogelijkheid om de Centra van Jeugd en Gezin ook via internet toegankelijk te maken voor ouders. Ouders zouden daar ook terecht moeten kunnen met hun vragen. (Boeke, 2009)

Ten derde werd er in § 2.1.4 al aangegeven door een externe deskundige dat er vanuit het pedagogisch werkveld nog weinig bekend is over de effecten van deze vorm van online opvoedingsondersteuning en dat het zeker gewenst is om daar onderzoek naar te doen.

Ten vierde is het voor de opdrachtgever interessant om een beeld van de kwaliteit van het

interventieproces te krijgen en feedback te ontvangen over hoe dat wordt ervaren door de ouders.

Ten vijfde biedt het onderzoek wellicht bedrijfsmatig mogelijkheden om het bedrijf meer onder de aandacht te brengen van de sector opvoedingsondersteuning. Het onderzoek kan bijvoorbeeld adviestrajecten opleveren op het gebied van online hulpverlening. Boeke zegt hierover dat het nu belangrijk wordt om het effect te gaan meten, omdat ook de Centra voor Jeugd en Gezin zich op online hulpverlening gaan richten. Ze hebben daar de hulp van Ouders Online bij gevraagd, maar dan zou het mooi zijn als de werkwijze aantoonbaar een positief effect heeft.

2.4 Richting van het onderzoek en opzet van het rapport

Na deze korte inleiding waarin we hebben kennisgemaakt met de opdrachtgever, de actuele thema’s rondom opvoedingsondersteuning, de probleemsituatie en de noodzaak van het onderzoek, volgt een hoofdstuk met daarin een theoretisch kader rondom een aantal

onderzoeksvragen die betrekking hebben op opvoedingsondersteuning. Het hoofdstuk wordt afgesloten met een theoretisch model van een pedagogisch adviesproces via internet en een aantal hypotheses voor het diepteonderzoek. Het hoofdstuk met daarin een verslag van het diepteonderzoek wordt afgesloten met een model van het pedagogische adviesproces zoals die op dit moment gehanteerd wordt door de opdrachtgever. Waarna op basis van een vergelijking tussen beide modellen conclusies en aanbevelingen zullen volgen.

(11)

3. Theoretisch onderzoek naar pedagogische adviezen en de effecten daarvan

Hoe ziet een pedagogisch adviesproces er in theorie uit? Dat is de vraag waarop in dit hoofdstuk antwoord gegeven gaat worden. Om te beginnen met de centrale vraag van dit onderzoek, waarna een definitie volgt van de termen die in de centrale vraag staan vermeld. Daarna volgen de onderzoeksvragen (met bijbehorende deelvragen) en de antwoorden zoals die in de literatuur zijn gevonden. Het literatuuronderzoek wordt afgesloten met een aantal hypotheses voor het diepteonderzoek.

3.1 Centrale vraag

De centrale vraag is alsvolgt geformuleerd: Wat is het effect van de pedagogische advisering die door professionals wordt geboden via de vraagbaak opvoeding en gedrag van Ouders Online?

Het probleem dat onderzocht gaat worden is dat het voor de opdrachtgever onduidelijk is wat er gebeurt met de adviezen die via de vraagbaak Opvoeding en Gedrag worden verstrekt door deskundigen aan ouders die de website www.ouders.nl bezoeken. Het is een probleem omdat zo niet duidelijk is wat het effect is van de interventies, of men tevreden is met het antwoord en in breder verband welke plaats Ouders Online hiermee inneemt in de sector

opvoedingsondersteuning.

3.2 Definities

Drie termen uit de centrale vraag worden in deze paragraaf nader gedefinieerd: effect,

pedagogische advisering en professionals. Met effect wordt bedoeld de uitwerking of het gevolg van iets. Het kan een positief of negatief effect zijn. (Van Dale) Een meer specifieke definitie van effect wordt gegeven in § 3.5.1. Met pedagogische advisering wordt bedoeld: “Kortdurende ondersteuning van ouders bij opvoedingsvragen en –problemen. Kenmerkend voor pedagogische advisering is een vraaggerichte werkwijze en een concrete/praktische invalshoek. Naast een spreekuur op afspraak kunnen een informatievoorziening (opvoedwinkel), huisbezoeken, of lichte vormen van video hometraining aan het aanbod zijn gekoppeld.”6 Onder professionals wordt tot slot verstaan: mensen die werkzaam zijn in een bepaald beroep of specifieke functie waarvoor zij betaald krijgen, dit in tegenstelling tot vrijwilligers. Het worden ook vaak beroepskrachten

genoemd.7 Blokland (2008) maakt hierbij nog een onderscheid tussen professionals en

paraprofessionals. Bij opvoedingsondersteuning worden vaak paraprofessionals ingezet om een specifieke doelgroep te bereiken. Dit zijn dan vrijwilligers met eenzelfde achtergrond als de doelgroep.

3.3 Onderzoeksvragen

Om de centrale vraag te kunnen beantwoorden, dient er eerst een antwoord te komen op de bijbehorende onderzoeksvragen. De onderzoeksvragen die in het literatuuronderzoek worden beantwoord zijn in het volgende overzicht onderstreept. De overige onderzoeksvragen worden in het diepteonderzoek beantwoord.

6Zie: http://www.nji.nl/eCache/DEF/7/374.html

7Zie: jeugdthesaurus http://www.nji.nl/eCache/DEF/1/05/386.html

(12)

1. Op welke wijze voorzien de professionals de ouders via Ouders Online van pedagogische adviezen en hoe ziet het interventieproces eruit? (diepteonderzoek)

a. Voor welke doelgroep zijn de pedagogische adviezen bedoeld?

b. Welke doelen worden nagestreefd, hoe stel je dat concreet vast?

c. Welke werking claimt de methodiek?

d. Welke voorwaarden moeten zijn vervuld, wil het werken?

2. Hoe ziet een interventieproces van pedagogisch adviseren eruit in theorie? (literatuurstudie) a. Hoe ziet een pedagogisch adviseringsproces eruit?

b. Welke methodiek(en) worden er gebruikt?

c. In welke stroming/theorie past dit?

d. Welke soorten interventies zijn er?

e. Welke soorten effecten zijn er?

3. Via welke aanbevelingen kan het huidige interventieproces worden verbeterd? (vergelijking literatuur-praktijk)

4. Wat is een goed meetinstrument voor het meten van effecten bij pedagogisch adviseren?

(literatuur)

a. Wat is effectiviteitmeting?

b. Op welke manier kun je effecten meten van een pedagogisch advies?

c. Welke gestandaardiseerde meetinstrumenten zijn er beschikbaar en waar worden ze voor gebruikt?

d. Waarom past dit meetinstrument bij pedagogisch adviseren het beste?

e. Wat meet dit instrument precies?

f. Wat kun je met de resultaten doen?

g. Wat zeggen deskundigen over dit meetinstrument?

h. In welke onderzoeken is dit meetinstrument al toegepast?

5. Welke effecten worden er gemeten met dit instrument bij gebruikers van de vraagbaak (diepteonderzoek)

a. In hoeverre voelt de gebruiker zich door het advies gesterkt in zijn rol als opvoeder?

b. Hoe tevreden is de gebruiker over het geboden hulpverleningsproces?

3.4 Het pedagogisch advies in theorie

In de subparagrafen komen de volgende onderwerpen aan de orde: kenmerken en doelstellingen van pedagogisch advies, theoretische achtergrond, methodiek, werkwijze, waar kan men terecht voor pedagogisch advies en wanneer zijn de vragenstellers tevreden. Hiermee wordt een

antwoord gegeven op onderzoeksvraag 2.

3.4.1 Kenmerken en doelstellingen pedagogische advisering

Tot nu toe zijn de termen opvoedingsondersteuning en pedagogische advisering nog door elkaar gebruikt. Pedagogische advisering is echter een vorm van opvoedingsondersteuning. Er wordt de volgende definitie gehanteerd:

Pedagogisch adviseren is een makkelijk toegankelijke vorm van kortdurende individuele

ondersteuning van ouders bij lichte opvoedingsproblemen. De ondersteuning wordt gegeven op basis van de vraag van de ouder door een pedagogisch geschoolde beroepskracht. (Blokland, 2008, p. 16)

Pedagogische advisering heeft de volgende doelstellingen:

1. het helpt ouders een antwoord te vinden op hun opvoedingsvragen, waarbij ze vertrouwen krijgen in zichzelf als opvoeder en de moeilijkheden in de opvoeding in het vervolg weer zelf kunnen oplossen;

2. het biedt ouders preventief ondersteuning bij de opvoeding, om te voorkomen dat ze minder snel een beroep moeten doen op zwaardere vormen van hulpverlening. (Blokland, 2008)

3.4.2 Theorie over opvoedingsondersteuning

Er zijn verschillende theorieën die de basis vormen van opvoedingsondersteuning. De theorieën die in deze subparagraaf besproken worden komen overeen met de indeling die Burggraaf (2008) in haar boek aanhoudt. Zo noemt zij allereerst de transactionele ontwikkelingstheorie, waarbij niet alleen gekeken wordt naar afzonderlijke factoren bij het opvoeden, maar juist ook naar de wijze

(13)

waarop de factoren op elkaar inspelen. De grondlegger hiervan is Arnold Sameroff en hij is van mening dat opvoeden naast het overbrengen van kennis, vaardigheden, gewoonten en inzichten van ouders op kinderen, ook een interactioneel proces is. Het kind geeft vorm aan zijn eigen opvoeding. Daarbij speelt de sociale context een grote rol.

Bij de balanstheorie is niet alleen gekeken naar het kind, de ouder/opvoeder en de omgeving, maar ook de draagkracht en de draaglast en risico- en beschermende factoren. Een ouder die zonder werk komt te zetten, kan een grote stress ervaren. Als deze ouder echter een grote sociale steun (beschermende factor) van de omgeving ervaart, die bijvoorbeeld de kinderen wat meer opvangt, dan zal het “dragen van de last” minder groot zijn en kunnen de kinderen gewoon blijven functioneren. Er wordt gezegd dat het evenwicht tussen de draagkracht en de draaglast

uiteindelijk bepaalt of de ouders in staat zijn hun kind(eren) op te voeden.

De levenslooptheorie, waar Riksen-Walraven veel over geschreven heeft, zegt dat de ontwikkeling van kinderen in verschillende fasen verloopt. En bij iedere fase horen opvoedingstaken en

opgaven. Een peuter heeft andere ontwikkelingstaken dan een basisschoolkind. Het is de taak van de ouders/opvoeders om daar met de opvoeding op aan te sluiten.

Dan is er de theorie van het continuüm van “gewone opvoedingsvragen” tot problematische opvoedingssituaties. In de pedagogische probleemanalyse waar Kousemakers over heeft geschreven wordt een indeling gemaakt in de ernst van een opvoedingsvraag. Dit kan oplopen van opvoedingsspanning tot een opvoedingscrisis.

Tot slot is er de empowermenttheorie. Empowerment gaat uit van de visie dat sociale problemen ontstaan door de ongelijke verdeling van toegang tot bronnen. Van Regenmortel (p. 112, 2007) hanteert de volgende definitie: "Een proces van versterking waarbij individuen, organisaties en gemeenschappen greep krijgen op de eigen situatie en hun omgeving en dit via het verwerven van controle, het aanscherpen van kritisch bewustzijn en het stimuleren van participatie."

Empowerment is echter een containerbegrip geworden, zo wordt er onderscheid gemaakt in empowerment van mensen in hun rol als burger en in hun rol als cliënt (Verzaal, 2002). Verzaal noemt bij individuele empowerment drie accenten die onderscheiden kunnen worden:

empowerment met nadruk op competentievergroting, gericht op zelfverwerkelijking en gericht op sociale verandering door participatie. Volgens Van Regenmortel (2007) betekent Empowerment toegepast in de zorg een geheel andere “vraaggerichte” aanpak, die onder andere gekenmerkt wordt door het hanteren van een holistisch beeld van de cliënt. In de volgende subparagraaf zal nader worden ingegaan op de toepassing van empowerment bij het pedagogisch adviseren.

3.4.3 Methodiek van pedagogisch adviseren: empowerment en samenwerken

De methodiek van pedagogisch adviseren sluit grotendeels aan bij de empowermenttheorie. De uitgangspunten zijn: er wordt vraaggericht en in het hier en nu gewerkt, de ouders zijn deskundig, er is aandacht voor wat goed gaat en het is gericht op ouders. (Blokland, 2008) De volgende aspecten komen daarbij vaak aan de orde: informatie en voorlichting, advies en begeleiding, emotionele steun en feedback, praktische/instrumentele steun, modeling/voorbeeld gedrag, het mobiliseren van sociale steun en tot slot signaleren en verwijzen. De meest gangbare modellen zijn: het diagnose-receptmodel, het counselingsmodel en het participatie- of

samenwerkingsmodel. Het eerste model is vaak het model dat ouders verwachten: ik vertel de adviseur mijn probleem en krijg dan te horen wat er aan de hand is en ze vertellen mij de oplossing. Het counselingsmodel is afkomstig van de psychotherapeut Carl Rogers die van mening is dat de cliënt met behulp van de adviseur zelf tot inzicht kan komen. Het

samenwerkingsmodel sluit volgens Blokland het beste aan bij het pedagogisch adviseren: de wederzijdse verwachtingen en opvattingen worden uitgewisseld, waarna samen naar een

oplossing wordt gezocht. Het verband met de eerdergenoemde empowermentbenadering zit hem in het helpen de cliënt zelf tot inzicht te laten komen en eigenlijk is dat waar Rogers met zijn counselingsmodel ook voor staat. Het verschil met het samenwerkingsmodel zit hem in het gegeven dat de adviseur een meer beschouwende rol heeft. Het blijft echter lastig om op basis van de theorie ieder model van een label te voorzien, zeker omdat – zoals zal blijken uit de volgende subparagraaf – de pedagogisch adviseur in veel gevallen meer eclectisch te werk gaat.

3.4.4 Werkwijze van de pedagogisch adviseur

De pedagogisch adviseur heeft over het algemeen een grote vrijheid in het bepalen van de werkwijze, ook omdat dit goed past bij het laagdrempelige en informele karakter van een

(14)

pedagogisch advies. In de praktijk van pedagogisch adviseren wordt er weinig gebruik gemaakt van gestandaardiseerde vragenlijsten bij een intake of om tot een diagnose te komen. Blokland heeft een leidraad gemaakt voor het voeren van een adviesgesprek. Hierbij noemt zij een viertal fasen, die in ieder geval doorlopen kunnen worden. De fasen zijn allereerst kennismaking en afstemming, vervolgens vindt er een probleeminventarisatie en diagnose plaats, waarna gekeken wordt op welke wijze de cliënt geholpen kan worden. Er worden doelen gesteld, waaraan

gezamenlijk gewerkt wordt. Het adviesgesprek wordt afgesloten met een begeleiding, evaluatie en nazorg. Puntsgewijs komt Blokland tot de volgende opsomming van het adviesgesprek (Blokland 2008, p. 65):

1. Kennismaking en afstemming

a. Begroeting en contact maken b. Personalia

c. Toeleiding d. Uitleg werkwijze 2. Wat is de vraag, het probleem?

a. Probleeminventarisatie b. Probleemanalyse c. Hypothesen vormen d. Inschatting maken 3. Wat te doen?

a. Afwegingen/keuzes maken b. Haalbare doelen stellen c. Uitwerken praktische aanpak d. Afspraken maken

4. Begeleiding en nazorg

a. Toepassing bespreken b. Ondersteunen en bijsturen c. Evalueren en afronden

Op basis van de opsomming van Blokland ben ik tot het volgende model voor een algemeen pedagogisch adviesproces gekomen.

interactieve kennismaking en afstemming

interactieve diagnose totaalbeeld cliënt en situatie

interactief advies

nazorg en evaluatie Algemeen pedagogisch adviesproces

Gespreksvaardigheden en non verbale

communicatie

Adviesvaardigheden (Empowerment)

interactieve kennismaking en afstemming

interactieve diagnose totaalbeeld cliënt en situatie

interactief advies

nazorg en evaluatie Algemeen pedagogisch adviesproces

Gespreksvaardigheden en non verbale

communicatie

Adviesvaardigheden (Empowerment)

Figuur 1: Model pedagogisch adviesproces

3.4.5 Pedagogisch advies: wie, wat en waar

Wanneer ouders vragen hebben over de opvoeding van hun kinderen gaan ze daarvoor vaak in eerste instantie naar familie en vrienden, men praat erover op school, op het kinderdagverblijf of de peuterspeelzaal, leest erover, kijkt op internet of op televisie, stelt vragen aan het

consultatiebureau of de huisarts. Professionals in pedagogische advisering zijn te herkennen aan (Blokland, 2008): deskundigheid, de basishouding, de vaardigheden, het gebruik van

hulpmiddelen, aansluiting bij een beroepsorganisatie of ze hebben een bepaalde opleiding genoten. Pedagogisch advies wordt zowel verstrekt door organisaties in de publieke sector als door commerciële organisaties. Te denken valt aan de al eerder genoemde Centra voor Jeugd en

(15)

Gezin, opvoedkundig adviesbureaus, huisartsen, pedagogen en psychologen, docenten, leidsters van kinderopvangorganisaties en diverse media.

Veelgebruikte interventies

Veel gebruikte interventies op het gebied van opvoedingsondersteuning zijn (Prinsen, 2006):

pedagogisch advies op maat, individuele opvoedingsvoorlichting op maat, themabijeenkomsten, signalering pedagogische en psychosociale problematiek, gestandaardiseerde individuele opvoedingsvoorlichting en buurtnetwerk jeugdhulpverlening.

Nog niet iedereen wordt bereikt

Maar niet iedereen wordt bereikt, zo blijkt uit onderzoek (§ 2.1.2). De nog niet door de hulpverlening bereikte doelgroepen zijn volgens dit onderzoek: hoogopgeleide ouders,

alleenstaande ouders, gereformeerde ouders en allochtone ouders. Wat als belemmering wordt ervaren, zit onder andere in de vindplaats (waar kan ik terecht met mijn vraag?), het gebrek aan vertrouwen (pakken ze mijn kind niet af?), de culturele verschillen (we spreken niet dezelfde taal), de ondersteuningsbehoefte, de sociale acceptatie van het probleem en de communicatie.

Meest gestelde vragen

Met welke vragen komen ouders? De opvoedingstelefoon, die in 2006 opgehouden is te bestaan heeft daar onderzoek naar gedaan. Het leverde een top 10-lijst op (Prinsen, 2006): 1)

slaapproblemen, 2) zorgen ontwikkeling kind, 3) opvoedingsaanpak algemeen, 4) straf geven, grenzen stellen, 5) niet luisteren/ongehoorzaam, 6) koppig, dwars, opstandig, 7) informatie over voorziening, 8) claimgedrag, aandacht vragen, 9) voeding, eetproblemen en 10) driftbuien.

Ook bij het Nederlands Jeugd Instituut is in het Dossier Opvoedvragen een top 5 opgesteld: 1) grenzen stellen, 2) lastig gedrag, 3) emotionele ontwikkeling, 4) vertraging in de ontwikkeling, 5) gezondheid en lichamelijke ontwikkeling.8 Uit landelijk en regionaal onderzoek is deze top 5 samengesteld. Opvallend is dat er verschillen lijken te zijn tussen deze top lijsten, maar dit kan ook te maken met de interpretatie van de problemen. Slaapproblemen kunnen bijvoorbeeld ook het gevolg zijn van grenzen stellen, lastig gedrag of lichamelijke ontwikkeling.

3.4.6 (Opvoed)advies via internet: non-verbale communicatie ontbreekt

Naar de wijze van (pedagogische) advisering via internet is nog weinig onderzoek gedaan. Kraus e.a. (2003) maakt een vergelijking tussen online advies en face to face-advies. Allereerst maakt hij melding van het belang van schrijfvaardigheden van de adviseur. Bij e-mails is er altijd een zone van reflectie: de adviseur kan de mail even naast zich neerleggen, voordat hij een antwoord formuleert. Verder dwingt het schrijven (van een e-mail) iemand er toe zijn gedachten enigszins te ordenen, het maakt het meer concreet en zichtbaar.

Het ontbreken van face to face contact heeft effect op de relatie van de cliënt met de adviseur Het ontbreken van face to face contact heeft volgens Kraus e.a. (2003) een grote impact op de relatie die de adviseur aangaat met de cliënt. De nuances van communicatie zijn moeilijk te achterhalen doordat je niet iemands gezicht ziet, stem hoort en zelfs geur ruikt. Het kan ook ambiguïteit veroorzaken: het kan zijn dat je zonder stem en lichaamstaal en gezichtsexpressies niet helemaal zeker bent van wat iemand precies bedoelt. Dat kan leiden tot fantaseren en tot het projecteren van de eigen verwachtingen, wensen en angsten op de ander. Kraus benoemt het verschijnsel dat als we twijfelen over wat iemand bedoelt, we dan terugvallen op onze eigen verwachtingen en over hoe die gevormd zijn in onze eigen kindertijd. Vanuit de psychodynamica wordt dit tegenoverdracht genoemd. Evans (2009) maakt melding van een onderzoek van Suler waaruit blijkt dat onderwerpen waarvoor een cliënt zich schaamt makkelijker ter sprake kunnen komen, juist omdat het face to face contact ontbreekt.

Voor welke cliënten en adviseurs is online advies geschikt?

Het ontbreken van face to face-signalen heeft verschillende effecten op verschillende mensen.

Voor sommigen kan het leiden tot een verminderd gevoel van intimiteit, vertrouwen en

betrokkenheid bij de therapeutische relatie, omdat getypte tekst voelt als formeel, afstandelijk,

8Zie: (www.nji.nl/eCache/DEF/1/10/465.html

(16)

niet-emotioneel, en zonder empathie. Anderen voelen zich aangetrokken door de stilte, het schrijven op afstand. Mensen die leiden aan sociale angst of zaken rondom schaamte en schuld kunnen baat hebben bij online advies. Het advies is namelijk anoniem, de cliënt is onzichtbaar, het proces vindt plaats in het hoofd van de cliënt en het geeft een gevoel van gelijkheid. Ook is het bekend dat mensen op internet dingen zeggen die ze wellicht niet zouden zeggen in face to face contact. Dit wordt ongeremdheid door Evans (2008) genoemd. Zij benoemt daarbij twee zijden:

het zorgt ervoor dat mensen zeer persoonlijke zaken delen met een vreemde. Maar het zorgt er ook voor dat er harde taal wordt gebruikt, boosheid, haat, bedreigingen en kritiek.

De vaardigheden van de online adviseur

Een goede adviseur in face tot face-omgeving hoeft nog geen goede adviseur te zijn op internet.

Adviseren via internet vereist extra vaardigheden van de adviseur. Allereerst noemen Kraus e.a.

(2003) als basisvaardigheden van de adviseur:

1. betrekken van de cliënt in het behandelingsproces;

2. overeenstemming bereiken over de focus van de behandeling;

3. beschikt over interventies om de cliënt tot verandering (van inzicht) te brengen;

4. is in staat om de veranderingen te verankeren.

Hoe dat gebeurt in therapeutische chatsessies met cliënten (waarbij non verbale communicatie ontbreekt) wordt door Kraus e.a. uitgebreid besproken. Zij noemen de mogelijkheid om via tekst de cliënt betrokken te houden bij het behandelingsproces door bijvoorbeeld boven de e-mail een onderwerp te zetten, wat de nieuwsgierigheid van de cliënt trekt en de mail gaat lezen. In

chatsessies wordt veel gebruik gemaakt van emoticons om de aanwezige emoties over te brengen op de ander. Het is van belang dat de e-mail duidelijk en direct is, waarbij er verwezen kan worden naar ander beschikbare informatie, metaforen of “huiswerk” gegeven kan worden. De adviseur kan confronteren door een spiegel voor te houden of door de woorden van de cliënt nog eens te herhalen. Een mix van conversatie en confrontatie lijkt goed te werken bij tekstuele communicatie. Als belangrijke algemene vaardigheden noemen Kraus e.a.: schrijfvaardigheden en de vaardigheid om emoties via geschreven taal te achterhalen.

Kraus e.a (2003) vermelden een methode voor e-mailuitwisseling (The Four E-mail Exchange Model of E-counseling). Deze kan als e-therapy worden ingezet, een uitbreiding op het eenmalige vraag-antwoord model. Het model is in samenvatting opgenomen in bijlage 2.

Tot slot bij deze subparagraaf nog een kanttekening. Kraus e.a. benoemen uitgebreid de

vaardigheden van de online adviseur in therapiesessies. Of deze vaardigheden vergelijkbaar zijn met de vaardigheden van de online adviseur bij eenmalige e-mailadviezen is vooralsnog

onduidelijk.

3.4.7 Ouders zijn het meest gebaat bij praktische adviezen, begrip en steun

Wanneer waarderen ouders de adviezen en hoe wordt dat gemeten? Ouders zijn het meest gebaat bij praktische adviezen, begrip en steun. (Burggraaff, 2008). Vaak hebben ze behoefte aan gerichte adviezen of steun en in iets mindere mate aan algemene informatie. Dit is gebleken uit evaluatie- en tevredenheidsonderzoeken die door de organisaties regelmatig worden uitgevoerd.

De tevredenheid over de voorziening is vaak groot, rond de 80% als het gaat om de begeleiding en het soort hulp dat de ouders ontvangen van het opvoedingsbureau of het pedagogisch spreekuur. De helft van de ouders beweert dat het probleem waarmee ze kwamen ook echt is opgelost. Er dient bij gezegd te worden dat het onderzoeken zijn geweest naar de korte termijneffecten. (Burggraaff, 2008) Bovendien vonden de onderzoeken achteraf plaats. Of de opvoedingssituatie echt is veranderd, kan niet gezegd worden. Daarvoor zou een voor- en nameting verricht moeten worden. Meer hierover in de volgende paragrafen.

3.5 Het meten van effectiviteit

Op welke wijze kun je effect meten van pedagogische adviezen? In de subparagrafen komen de volgende onderwerpen aan de orde: definitie van effect, redenen om effecten te meten, soorten

(17)

effecten en niveaus van effecten, effectenonderzoek, onderzoek naar effecten pedagogische advisering.

3.5.1 Definitie van effecten

Bij het bepalen van een resultaat van een interventie wordt in de praktijk naar drie zaken gekeken (Van Yperen, 2003):

1. uitval: is de interventie volgens plan verlopen of is de cliënt eerder afgehaakt?

2. effectiviteit: zijn de vooropgestelde doelen bereikt?

3. tevredenheid: is de klant tevreden over de hulp die hem is geboden?

Deze zaken hangen natuurlijk met elkaar samen, want als de doelen niet zijn bereikt zal de cliënt waarschijnlijk niet tevreden zijn en als de cliënt vroegtijdig afhaakt, worden de doelen niet bereikt.

Er worden verschillende definities van effectiviteit in de literatuur door elkaar gebruikt. Men

spreekt echter van een effect wanneer er na een interventie iets is veranderd en dat dit komt door de interventie.

3.5.2 Redenen om effecten te meten: wat levert de investering op

De reden dat er tegenwoordig veel gesproken wordt over evidence-based interventieprogramma’s is dat de jeugdzorg moet kunnen aantonen welke bijdrage het levert aan het oplossen van de verschillende problemen, bovendien willen de financiers graag weten of hun investering ook iets oplevert. (Van Yperen, 2003) Organisaties die aan kwaliteitszorg doen willen ook graag weten hoe tevreden de cliënten zijn over de hulpverlening die wordt geboden en op welke punten de interne processen wellicht nog aangescherpt kunnen worden. Deze cliënttevredenheidsonderzoeken kennen echter ook valkuilen (Van Yperen, 2008):

1. ze hebben een retrospectief karakter, achteraf wordt teruggekeken op het hulpverleningsproces;

2. er is een zogenaamd hello-goodbye effect: de cliënt vindt het na het hulpverleningsproces moeilijk om nog negatieve zaken te melden, want de hulpverlener heeft zich zo

ingespannen om hem te helpen;

3. ook kan er een halo-effect zijn: de cliënt is tevreden over een aspect van de hulpverlening en generaliseert dat over de andere effecten;

4. wat altijd meespeelt is de grondhouding van de cliënt zelf: is het een optimist of een pessimist?

5. uitval kan een rol spelen: aan het eind hou je alleen nog tevreden cliënten over, want de rest is al gestopt.

Bij onderzoeken naar effecten van pedagogische adviezen wordt vaak gekeken naar korte termijneffecten die gebaseerd zijn op wat ouders zeggen. Dat wil niet zeggen dat er ook daadwerkelijk iets aan de opvoedsituatie is veranderd. (Burggraaf, 2007). De onderzoeken zijn dan ook voornamelijk gericht op het meten van gevoel van de ouder en de tevredenheid over het hulpverleningsproces. Als je gedragsverandering zou willen meten, dan zou het noodzakelijk zijn om een voor- en nameting te doen in de gezinssituatie en dat komt het laagdrempelige karakter van pedagogische advisering niet ten goede.

3.5.3 Pedagogisch adviseurs werken met impliciete kennis

Interventies kunnen gericht zijn op verschillende domeinen (Van Yperen, 2003): lichaam, cognitie, emotie, persoonlijkheid, gedrag, gezin en opvoeding, omgeving en sociaal netwerk. De soorten effecten zijn effecten op gedrag, gevoel van de ouder en tevredenheid over het

hulpverleningsproces. In de database effectieve jeugdinterventies9 wordt bijgehouden welke interventies evidence based zijn. dit wordt onderzocht door een onafhankelijke

onderzoekscommissie die onder andere kijkt naar de beschrijving van de methodiek en de wijze van onderzoek. Daarbij is een effectladder opgesteld. Veerman (2006) onderscheidt daarbij 5 niveaus:

0. werken met impliciete kennis (interventie zit in de hoofden van de uitvoerders)

9Zie: www.effectievejeugdinterventies.nl

(18)

1. potentieel: goed beschreven interventies (+interventie is beschreven en gespecificeerd) 2. veelbelovend: interventies met theoretische bewijskracht (+ aannemelijk verhaal dat

interventie kan werken)

3. doeltreffend: interventies met voorlopige bewijskracht (+ doelgroep wordt bereikt, doelen worden behaald)

4. werkzaam: interventies met causale bewijskracht (+ gemeten verbetering is toe te schrijven aan interventie)

Er is op dit moment nog weinig onderzoek gedaan naar de effectiviteit van jeugdinterventies en zeker niet van interventies op het gebied van pedagogisch adviseren, de meeste interventies zitten nog op niveau 0, er wordt gewerkt met impliciete kennis.

3.5.4 Effectenonderzoek in de jeugdzorg

Er zijn volgens van Yperen (2003) drie manieren om een effectenonderzoek te doen:

experimenteel, quasi experimenteel en veranderingsgericht. In de jeugdzorg worden er vaak kwaliteitsmetingen en tevredenheidsonderzoeken gedaan. Het vragen naar de kwaliteit van de verleende zorg gebeurt volgens Lemmens (1990) in twee stappen: er wordt aan de cliënten gevraagd wat ze relevante kwaliteitscriteria vinden en vervolgens wordt aan de cliënten gevraagd of zij de hulp die ze ontvangen hebben hierop willen beoordelen. Bij een tevredenheidsonderzoek geeft de cliënt op een schaal aan voor ieder onderdeel van de hulpverlening hoe tevreden hij daar over is. Bij effectenonderzoek wordt soms gebruik gemaakt van gestandaardiseerde vragenlijsten.

Zo is er de C-toets om tevredenheid bij cliënten in de jeugdzorg te meten en de Vragenlijst Empowerment om inzicht te krijgen in de uitkomsten van hulpverlening aan opvoeders10. Het voordeel van standaardmeetinstrumenten in de hulpverlening is dat ze vaak gebaseerd zijn op evaluatieonderzoeken en kwaliteitscriteria in de hulpverlening. Daarnaast zijn ze meestal getoetst op validiteit en betrouwbaarheid (Veerman, 2006). Een ander voordeel is dat de uitkomsten in sommige gevallen vergeleken kunnen worden met soortgelijke studies waarin het zelfde

instrument is toegepast. Een nadeel is dat de standaard instrumenten niet altijd voldoen aan de individuele criteria die gesteld zijn door de onderzoekers of organisatie. Soms vinden er dan ook specifieke aanpassingen plaats.

3.5.5 Onderzoek naar pedagogische adviezen: ouders zijn tevreden

Onderzoek naar de effecten van pedagogische advisering is in 2007 verricht door Versteeg. Zij heeft gekeken naar de laagdrempeligheid en de effectiviteit van pedagogische spreekuren in Almere bij de Oke-punten en ontdekte dat er positieve effecten werden gevonden. Uit de C-toets bleek bijvoorbeeld dat ouders tevreden zijn over het contact met de opvoedadviseur: hij werd vriendelijk gevonden en had begrip voor hun situatie. Ook gaven ouders in dit kleinschalige onderzoek (27 respondenten) aan dat zij zich gesterkt voelden door het pedagogische spreekuur.

Sterker als opvoeder. “Hieruit kunnen we concluderen dat de houding van de ouder als opvoeder is veranderd door het pedagogische spreekuur.” (p.43) Maar ook werd er vermeld dat “de actuele beheersing van de ouder als opvoeder niet is veranderd, volgens de ouders. Ze hebben niet het gevoel gekregen meer invloed te kunnen uitoefenen om de situatie waarin ze verkeren te beïnvloeden. Een mogelijke verklaring voor de discrepantie tussen de score op het besef van beheersing en de actuele beheersing is dat een attitudeverandering vooraf gaat aan een

gedragsverandering en dat dit nog moet beklijven.” (Versteeg, 2007, p.43) Voor het meten van de empowerment bij de ouders is in dit onderzoek gebruik gemaakt van de “Vragenlijst

Empowerment”. De Vragenlijst Empowerment (Standaardversie) onderzoekt de empowerment van opvoeders die door zorginstellingen zijn begeleid. Er is ook een retrospectieve versie van de lijst (Vragenlijst Empowerment Terugblik) waarmee achteraf de versterking van empowerment kan worden vastgesteld. 11

10Zie: (http://www.nji.nl/eCache/DEF/1/05/694.cmVjb3JkbnI9MjI0JnZhbnVpdD0mem9laz0mdG9vbj1kZXRhaWw.html 11Zie: http://www.nji.nl/eCache/DEF/1/05/694.cmVjb3JkbnI9MjI0JnZhbnVpdD0mem9laz0mdG9vbj1kZXRhaWw.html

(19)

Face to face

In het onderzoek van Versteeg wordt ook melding gemaakt van andere onderzoeken naar de effecten van pedagogische advisering. Zo is er onderzoek gedaan naar 158 ouders die de opvoedingswinkel in Den Bosch bezochten. Ze bleken in hoge mate tevreden te zijn over de spreekuren. Naar het Steunpunt voor Opvoeding (StOp) is ook onderzoek gedaan. Het bleek dat 87% van de 127 ondervraagde ouders tevreden was. Ruim de helft vond dat het probleem op korte termijn was opgelost, 92% voelde zich gesteund, 68% vond dat ze meer inzicht hadden gekregen en 82% vond dat de opvoedingsrelatie was verbeterd. Er was een vermoeden dat hoewel slechts iets meer van de ouders aangaf dat het probleem was opgelost en ze zich toch gesteund voelden, dat ouders het wellicht prettig vonden hun verhaal kwijt te kunnen.

Online advies

Er zijn diverse onderzoeken gedaan naar het verschil tussen face to face- en online advies (Kraus, e.a. 2003). Er wordt een onderzoek genoemd waaruit blijkt dat cliënten die eerst face to face-hulp kregen en daarna online advies een duidelijke voorkeur hadden voor face to face-hulp.

Een onderzoek naar een e-mail groep voor ouders met kinderen die autisme hebben, gaf aan dat deze ouders een goed gevoel hadden overgehouden aan deze manier van communiceren met elkaar.

Tot slot is er een onderzoek van Cohen and Kerr dat wordt genoemd in Kraus e.a. (2003), waaruit blijkt dat cliënten een vergelijkbare mate van tevredenheid op expertise en vertrouwen ervaren bij adviseurs in een face to face-omgeving en bij online advies. Dit is een interessante bevinding want in de online omgeving kon de cliënt de adviseur niet zien. Kan het zijn dat sommige cliënten geen face to face contact nodig hebben om hun adviseur te vertrouwen? In hoeverre hier nader onderzoek naar is gedaan, is mij vooralsnog onbekend.

3.5.6 Conclusie literatuuronderzoek

Uit het literatuuronderzoek is gebleken dat de hulpverlening van de vraagbaak bij Ouders Online het meest past bij pedagogische advisering. Pedagogische advisering gaat vaak uit van het versterken van de rol als opvoeder door een vraaggerichte aanpak. Pedagogisch adviseren via internet wijkt op verschillende punten af van de face tot face-advisering. Het heeft voor- en nadelen en vereist ook andere vaardigheden van de hulpverlener (§ 3.4.6): naast

hulpverleningsvaardigheden zijn dat vaardigheden om je in geschreven taal uit te drukken en geschreven taal goed te interpreteren. Het effect dat bij pedagogisch adviseren gemeten kan worden, ligt op het gebied van kwaliteit en tevredenheid. Gedragsverandering is moeilijk te meten, omdat je dan zowel een voor- als nameting zou moeten doen. En dat past slecht bij het

laagdrempelige karakter van pedagogisch advisering. Effectmeting is van groot belang, het geeft de organisatie en hulpverlener inzage in de geleverde kwaliteit: doen we het goed? En biedt kansen om dit te optimaliseren. De meeste jeugdinterventies in Nederland, liggen nog op niveau 0: het gaat uit van impliciete kennis in de hoofden van de uitvoerders. Er zijn onderzoeken geweest naar de effecten van pedagogisch adviseren, waarbij voornamelijk de tevredenheid is onderzocht. Dit is gebeurd met zelf ontwikkelde instrumenten en standaard meetinstrumenten als de SDQ, C-toets en Vragenlijst Empowerment. Het tevredenheidspercentage is in alle

onderzoeken hoog. Naar de effecten van pedagogisch adviseren via internet is voor zover ik heb kunnen achterhalen nog geen onderzoek gedaan.

3.6 Model voor online pedagogisch adviesproces

In § 3.4.1. is reeds een model geschetst voor een pedagogisch adviesproces. Dit model heb ik op basis van de extra informatie over online adviesprocessen aangepast tot een model voor online pedagogisch adviesproces.

(20)

statische kennismaking en afstemming

statische

“tekst based”

diagnose

schriftelijk advies

nazorg en evaluatie On line pedagogisch adviesproces

Tekstinterpretatie en inlevingsvermogen (op afstand) vaardigheden

Schriftelijke adviesvaardigheden

statische kennismaking en afstemming

statische

“tekst based”

diagnose

schriftelijk advies

nazorg en evaluatie On line pedagogisch adviesproces

Tekstinterpretatie en inlevingsvermogen (op afstand) vaardigheden

Schriftelijke adviesvaardigheden

Figuur 2: Model online pedagogisch adviesproces

3.7 Hypothesen voor het diepteonderzoek

Op basis van het literatuuronderzoek en constateringen uit eerder onderzoek naar de effecten van pedagogische adviezen zijn er hypothesen geformuleerd voor het diepteonderzoek. Een groot deel van de hypothesen zijn gerelateerd aan de onderzoeksvragen.

1. 80% van de respondenten is tevreden over de geboden hulpverlening van Ouders Online (§ 3.5.5)

2. 50% van de respondenten geeft aan zich na het pedagogisch advies gesterkt te voelen in zijn rol als opvoeder (§ 3.5.5)

3. Er is een verband (correlatie) tussen de mate van gesterkt te voelen in de rol als opvoeder en de tevredenheid over de geboden hulpverlening

4. Er is een verband tussen het opleidingsniveau van de respondent en de mate van tevredenheid en de mate van de ervaren empowerment.

5. Er is een verband tussen het soort vraag dat door de respondent is gesteld en de mate van tevredenheid en de mate van de ervaren Empowerment.

6. Er is een verband tussen het ontvangen van eerder pedagogisch advies en de mate van tevredenheid en de mate van de ervaren Empowerment.

7. Er is een verband tussen de culturele achtergrond van de respondent en de mate van tevredenheid en de mate van de ervaren Empowerment.

8. Er is een oorzakelijk verband tussen het tijdstip van de afname van de enquête en het moment van het ontvangen antwoord en de mate van tevredenheid en de mate van de ervaren Empowerment.

(21)

4. Globaal onderzoeksontwerp

Uit het literatuuronderzoek is duidelijk geworden wat pedagogische advisering inhoudt, wat effecten zijn en hoe je die kunt meten. Nu rijst de centrale vraag: hoe gaan we het effect meten van de pedagogische advisering via de website Ouders Online. Daarvoor is een

onderzoeksontwerp gemaakt dat in dit hoofdstuk wordt beschreven. Het bestaat uit: het type onderzoek, de onderzoeksprocedure, de dataverzamelingsmethoden, de respondenten, de onderzoeksinstrumenten en de verwerking van de resultaten. Met het diepteonderzoek zal een antwoord gegeven worden op de centrale vraag en zullen de hypothesen worden getoetst.

4.1 Type onderzoek en dataverzameling

In het diepteonderzoek zijn er twee vragen te beantwoorden:

1. Op welke wijze voorzien de professionals de ouders via Ouders Online van pedagogische adviezen en hoe ziet het interventieproces eruit?

a. Voor welke doelgroep zijn de pedagogische adviezen bedoeld?

b. Welke doelen worden nagestreefd, hoe stel je dat concreet vast?

c. Welke werking claimt de methodiek?

d. Welke voorwaarden moeten zijn vervuld, wil het werken?

2. Welke effecten worden er gemeten bij gebruikers van de vraagbaak (diepteonderzoek) a. In hoeverre voelt de gebruiker zich gesterkt in zijn rol als opvoeder?

b. Hoe tevreden is de gebruiker over het geboden hulpverleningsproces?

De eerste vraag wordt beantwoord in een kwalitatief onderzoek, dat bestaat uit een

documentenanalyse en een drietal interviews met de betrokken deskundigen. Interviews zijn een goede manier om zicht te krijgen op mogelijke knelpunten en oplossingen, omdat er een

mogelijkheid is om door te vragen op de antwoorden (Kempen, 2006). De documentenanalyse betreft gegevens die Ouders Online zelf het afgelopen jaar heeft verzameld voor interne en externe doelen. Het gaat in dit geval om een analyse van het interventieproces en een analyse van een aantal vragen en antwoorden die zijn gegeven op de vraagbaak van Ouders Online.

De tweede vraag zal beantwoord worden met een kwantitatief onderzoek, een enquête onder de gebruikers van de vraagbaak Opvoeding en Gedrag bij Ouders Online. Een enquête is een goede manier om een groot aantal mensen op een systematische manier te ondervragen. (Kempen, 2006) In de enquête zullen voornamelijk gesloten vragen worden gesteld, zodat na afloop de resultaten kunnen worden samengevat in cijfers. Er is besloten om een standaardvragenlijst toe te passen (Vragenlijst Empowerment) aangevuld met vragen over tevredenheid (afkomstig uit de C- toets12) en algemene vragen over het profiel van de respondent.

4.2 Onderzoeksprocedure

De onderzoeksprocedure is alleen opgesteld voor deelvraag 2, de enquête. Voor de overige deelonderzoeken verwijs ik naar hoofdstuk 5 waar voor ieder onderzoek afzonderlijk een opzet is beschreven.

De vragenlijst voor de enquête is ingevoerd in een online enquêteprogramma. Er is een proefenquête uitgevoerd onder het betrokken ouderpanel. Zij kregen de opdracht om in de vraagbaak Opvoeding en Gedrag van Ouders Online een vraag uit te kiezen, die ze zelf ook gesteld zouden kunnen hebben. En vervolgens het bijbehorende antwoord te lezen. Waarna ze de enquête mochten invullen. Met deze proefenquête kon onderzocht worden in hoeverre de enquête voldeed aan de kwaliteitseisen van de opdrachtgever en hoe hij eventueel nog aangepast kon worden. Vervolgens werd de onderzoeksgroep per e-mail uitgenodigd om de enquête in te vullen op internet. Voor hun hulp ontvingen ze een incentive. Na een week werden de tellingen verricht in het programma SPSS en werden de resultaten verwerkt en gepresenteerd.

12 C-toets onderzoekt de cliënttevredenheid naar het hulpverleningsproces

(22)

4.3 Respondenten en documenten

Voor deelvraag 1 werd een drietal deskundigen (die de adviezen geven voor de Vraagbaak Ouders Online) benaderd voor een telefonisch vrije attitude interview over de wijze waarop zij hun adviesproces inrichten. Voor deelvraag 1 werden ook interne documenten over het

interventieproces bij Ouders Online bestudeerd en daarnaast een vijftal willekeurige vragen en bijbehorende antwoorden die op de website staan gepubliceerd. De kwaliteitscriteria, zoals die staan beschreven in een intern document, dienden als basis voor de vraagbaakanalyse.

Voor deelvraag 2 werden 143 mensen benaderd die het afgelopen jaar een persoonlijk antwoord hebben gekregen op hun vraag die zij hebben gesteld bij de vraagbaak Opvoeding en Gedrag van Ouders Online. Dit is de groep mensen waarvan het antwoord op de site is gepubliceerd. Er is hier sprake van een doelgerichte steekproef: iedereen die het afgelopen jaar een persoonlijk antwoord heeft gekregen op zijn vraag die hij gesteld heeft aan de Vraagbaak Opvoeding en Gedrag werd uitgenodigd om aan het onderzoek deel te nemen.

4.4 Onderzoeksinstrumenten

Voor deelvraag 2 (de enquête) hebben we gekozen uit een standaard vragenlijst aangevuld met eigen vragen. De voor- en nadelen van een standaardmeetinstrument zijn reeds beschreven in § 3.5.4. De domeinen die met deze instrumenten onderzocht zullen worden, zijn net als bij de andere onderzoeken naar pedagogische advisering (zie § 3.5.5): tevredenheid en empowerment.

Het onderzoeksinstrument is in bijlage 4 opgenomen.

4.5 Resultaten van de enquête

De bespreking van de resultaten beperk ik hier tot de resultaten van deelonderzoek 2, van deelonderzoek 1 wordt een beschrijving en een procesweergave gegeven. Een week na het uitsturen van de herinnering voor de enquête zijn de resultaten verwerkt. Daarbij is eerst gekeken of de respons voldoende was (het minimum aantal respondenten dat er nodig is om een goede verwerking in het statistisch programma SPSS te kunnen maken is afhankelijk van de omvang van de onderzoekspopulatie). (Nijdam, 2003) Daarna werd de representativiteit gecontroleerd. Hierbij is er gekeken naar de leeftijdsopbouw van de respondenten en de gezinssituatie en dit is

vergeleken met de algemene gegevens van de bezoekers van de website van Ouders Online. Tot slot vond er een controle plaats op de leesbaarheid, volledigheid en correctheid van de invulling van de vragenlijsten. De resultaten uit deelonderzoek zijn statistisch bewerkt met het programma SPSS. In de resultaten zijn ook het toetsen van de hypothesen opgenomen om tot een

verantwoorde conclusie te komen.

Referenties

GERELATEERDE DOCUMENTEN

Onderzoek heeft aangetoond dat als de academicusbelasting op 6% van het inkomen van ex-studenten wordt vastgesteld, de overheid alle uitgaven voor het hoger onderwijs

• Je kunt deze uitspraken niet zonder meer als een ‘koude oorlog‘ stemming voor beide blokken beschouwen, want hoewel de mening van Stalin wel voor het Sovjetblok geldt, is

Overheidsbelangen zijn de efficiency en de effectiviteit van het overheidsoptreden, het openhouden van de informatiestroom (geheimhouding en organisatiebelang), de betrouw-

Op zo’n moment is iemand niet meer in staat om zijn impulsen te beheersen en verleidingen te weerstaan (Baumeister, 2003, Hagger, Wood, Stiff & Chatzisarantis,

Mensen die begeleid worden door een vrijwilliger lossen over het algemeen relatief (ten opzichte van het bedrag dat bij het begin berekend is) meer per maand af dan anderen: 2,4 keer

Enkele minuten later staat wel de 0-2 op het score bord Rinagel Ogenio passeert zijn direc- te tegenstander schuift de bal door naar de weer mee opgekomen Ste- fan Tichelaar en

In de begroting 2014 en verder zijn tevens de kosten opgenomen voor de uit- voering van de integrale jeugdgezondheidszorg voor de acht deelnemende Drentse gemeenten. De hoogte van

De Nederlandse Vereniging voor Raadsleden behartigt de belangen van alle raadsleden vanuit de doelstelling dat een sterke raad van cruciaal belang is voor het functioneren