Basisboek Methoden En Technieken H04. Onderzoeksontwerp

Front 1

Er zijn 2 grondvormen van kwantitatief Empirisch onderzoek:

Back 1

1. Experiment
2. surveyonderzoek.

Front 2

Richtgeving voor de keuze van een grondvorm van onderzoek is ......

Back 2

de vraagstelling van het onderzoek.

Front 3

Experimenteel onderzoek:
Je moet altijd een splitsings variabele hebben. In andere woorden:

Back 3

een onafhankelijke variabele en een afhankelijke variabele.

Front 4

Uiteindelijk wil je bij een experimenteel onderzoek een uitspraak kunnen doen over

Back 4

het causale verband tussen de splitsingsvariabele en testvariabele.

Front 5

Je moet daarom voor een experiment wat hebben?

Back 5

• Een goede vergelijkkingsbasis hebben.
• De groepen moeten uitwisselbaar zijn en niet met elkaar verschillen.
• Ze moeten op random, toevalsbasis zijn samengesteld.

Front 6

Er zijn 3 soorten experimenteel onderzoek:

Back 6

• Zuiver expirimenteel
• Quasi experimenteel
• Pre-experimenteel

Zuiverexperiment
Als je als onderzoeker onderzoekseenheden op toevalsbasis aan experimentele groepen kunt toewijzen en aan 1 of meer controle groepen spreken we van een zuiver experiment.

Quasi experiment
Meestal is er geen sprake van randomisatie

Pre-experiment
Er is geen randomisatie en ook geen vergelijkingsbasis.

Front 7

Zuiverexperiment

Back 7

Als je als onderzoeker onderzoekseenheden op toevalsbasis aan experimentele groepen kunt toewijzen en aan 1 of meer controle groepen spreken we van een zuiver experiment.

Front 8

Quasi experiment

Back 8

Meestal is er geen sprake van randomisatie

Front 9

Pre-experiment

Back 9

Er is geen randomisatie en ook geen vergelijkingsbasis.

Front 10

Survey.
Survey betekend

Back 10

‘Uitzicht/panorama’.
Er worden veel gegevens verzameld over veel kenmerken.

Front 11

Een Survey gaat om?

Back 11

Het gaat om een overzicht van samenhangende factoren.

Bijv: in welke mate hebben mensen computerkennis en waar hebben ze behoefte aan?’.
Welk deel van de werknemers is vaak afwezig wegens ziekte?

Front 12

Experiment.

Back 12

De grondvorm experiment is geschikt om te toetsen of er een causale samenhang.verband bestaat tussen twee kenmerken van bijv onderzoekseenheden.
Het aantal variabelen wat je betrekt is meestal klein.

Bij een experiment gaat het er om dat:
Je de causale invloed kan aantonen van een onafhankelijke variabele (de oorzaakvariablele) op een afhankelijke variabele (gevolg- of effect variabele)

Front 13

Bij een experiment gaat het er om dat:

Back 13

Je de causale invloed kan aantonen van een onafhankelijke variabele (de oorzaakvariablele) op een afhankelijke variabele (gevolg- of effect variabele)

Front 14

4.2 Pre-experimenten en storende factoren.

4.2.1 Pre-experimentele ontwerpen

Back 14

• 1 bestaande groep, alleen een nameting (je kan niets zeggen over de invloeden)
• 1 bestaande groep, voor en nameting (je kan wel iets zeggen over de invloeden)
• vergelijking van 2 (bestaande) groepen, alleen een nameting (je kan wel iets zeggen over de invloeden)

Front 15

4.2.1 storende factoren

Back 15

• Tussentijdsvoorval.
Iemand komt bijv. te overlijden tijdens het experiment. De groep is dus niet meer de groep.

• Groei effect.
De variabelen veranderen met de tijd. Er is bijvoorbeeld meer ervaring gekregen in het werk. Niet zozeer door de experimentele behandeling verkregen, maar toch verandert.

• Testeffect.
Er worden veel testen gebruikt. Als iemnd die meerdere malen doet heb een soort leereffect. Daardoor kan de uitslag verschillen.

• Instrumentatie.
Stel dat er eerst een vragenlijst wordt afgenomen schriftelijk, maar daarna de volgende keer mondeling, dan kan dat ook invloed hebben. Dit heet instrumentatie. Het ‘instrument’ is verandert.

• Selectie effect.
Er zijn meer catagorieen testpersonen in de enegroep dan in de andere.

Front 16

• Tussentijdsvoorval.
• Groei effect.
• Testeffect.
• Instrumentatie.
• Selectie effect.

Back 16

• Tussentijdsvoorval.
Iemand komt bijv. te overlijden tijdens het experiment. De groep is dus niet meer de groep.

• Groei effect.
De variabelen veranderen met de tijd. Er is bijvoorbeeld meer ervaring gekregen in het werk. Niet zozeer door de experimentele behandeling verkregen, maar toch verandert.

• Testeffect.
Er worden veel testen gebruikt. Als iemnd die meerdere malen doet heb een soort leereffect. Daardoor kan de uitslag verschillen.

• Instrumentatie.
Stel dat er eerst een vragenlijst wordt afgenomen schriftelijk, maar daarna de volgende keer mondeling, dan kan dat ook invloed hebben. Dit heet instrumentatie. Het ‘instrument’ is verandert.

• Selectie effect.
Er zijn meer catagorieen testpersonen in de enegroep dan in de andere.

Statistische regeressie.
Hoe je dat kan tegengaan, de stotrende factoren, is dmv statistischg regressie.

Front 17

Statistische regressie.

Back 17

Hoe je de storende factoren, kan tegengaan is dmv statistische regressie.

Front 18

Samenvatting:

Doordat bij een pre-experiment geen sprake is van randomisatie (op toevalsbasis eenheden toewijzen aan groepen) kun je een aantal factoren niet of nauwelijks onder controle krijgen.

Denk aan factoren als:

Back 18

tussentijdse gebeurtenissen, groei-effect, testeffect, instrumentatie, regressie effect, selectie en uitval.

Pre-experimentele ontwerpen vormen daarom geen solide basis om uitspraken te doen over een causaal verband tussen een onafhankelijke en een afhankelijke variabele.

Front 19

4.3 Zuiverexperiment, randomisatie en matchen.
4.3.1 Zuiver experimentele ontwerpen.

Er wordt gesproken over 3 zuiver experimentele ontwerpen:

Back 19

• Alleen nameting met controle groep
• Voor en na meting, met controle groep
• Solomon groepsontwerp, 4 groepen

Front 20

Groepen in experimenten
De groepen moeten in een experiment .... zijn

Back 20

uitwisselbaar zijn, gelijk dus.

Dat kan door random, op toevalsbasis deelnemers toe te wijzen aan groepen.

Front 21

Hoe schrijf je de eigenschap toe? Aan toeval of causaliteit?

Dat doe je door....

Back 21

inductieve statistiek waarin je gaat kijken naar de systematische samenhang tussen de onafhankelijke en afhankelijke variabele.

Front 22

Voor een zuiver experiment moet je:

Back 22

Randomiseren.

Door randomisatie worden onderzoekseenheden volgens toeval aan een groep toegewezen.

Daarna bepaal je ook random welke experimentele variabele je aan welke groep toedient en welke niet.
Op deze wijze zijn ze ‘gelijk, ‘uitwisselbaar’.

Front 23

Samenvatting 4.3.1
Om van een zuiver experiment te kunnen spreken moet elk in ieder geval

Back 23

randomiseren en naast de experimentele groep minstens een vergelijkbare controlegroep bij het onderzoek betrekken.

Randomiseren wil zeggen:
Op toeval basis onderzoekseenheden aan groepen toewijzen en op toeval basis bepalen welk daarvan als experimentele roep fungeert en welke als controlegroep. In sommige gevallen is er alleen een nameting, in andere gevallen een voor en een nameting.

Front 24

4.3.2 interne en externe validiteit van groepen.

Interne validiteit.
Als in en zuiver experiment gebruik gemaakt wordt van een controle groep en er gebruik gemakt is van randomisering en je vergelijkt het gedrag, is er hoge kans op.....

Back 24

Interne validiteit. Er wordt ook gesproken van Interpretatie exclusiviteit.

Front 25

Interpretatie exclusiviteit.

Back 25

Er is in principe geen andere verklaring mogelijk dan dat de onafhankelijke variabele causaal van invloed is op de afhankelijke variabele.

Front 26

Laboratorium experiment.

Als zijn de uitkomsten causaal zijn, moet je er rekening mee houden dat het een nogal .......

Back 26

kunstmatige situatie is. Het blijft dan ook de vraag of je de resultaten in die omstandigheid naar een ander situatie kan generaliseren. We hebben het dan over externe validiteit.

Front 27

Externe validiteit.

Back 27

Als je de resultaten uit het experimentele onderzoek kan generaliseren naar andere plaatsen spreek je van externe validiteit.

Front 28

Samenvatting 4.3.2

Als je bij een zuiver experiment bij de nameting een verschil vindt in de verwachte richting tussen de experimentele en de controle groep, is het vrijwel zeker dat de experimentele variabele effect heeft op de afhankelijke variabele: Interne validiteit.

Als de generalisatie daarvan mogelijk is naar andere plaatsen, tijden, en omstandigheden, spreken we van ....

Back 28

externe validiteit.

Front 29

4.3.3 Randomiseren, matchen en homogeniseren.

Randomiseren kan soms niet. Alternatieven zijn:

Back 29

De controle groepen en de experimentele groepen te matchen of ze te homogeniseren.

Ook kun je gebruik maken van homogeniseren en matchen in samenwerking met randomiseren.

Front 30

Matchen/gelijkschalen:

Back 30

Je probeert de experimentele en controlegroep vergelijkbaar te maken op een aantal kenmerken waarvan je denkt dat ze van invloed zijn op de afhankelijke variabele.

Front 31

Je kan matchen op de volgende manieren:

Back 31

• Precisie controle
• Fequentieverdelingscontrole
• Globale controle

Front 32

Precisie controle

Back 32

Je zoekt voor de precisie controle in elke onderzoekseenheid in de experimentele groep er een die gelijk is aan de controle groep.

Voorbeeld:
Als je 1 man heb in de ene groep, wil je er ook 1 in de andere. Je moet dus jong 2 mannen hebben, twee jong vrouwen, twee kinderen van 10 jaar etc. Deze verdeel je weer over de groepen zodat ze ‘gelijk zijn’. Elk kenmerk moet goed verdeeld zijn.

Front 33

Fequentieverdeling scontrole of Globale controle

Back 33

Hierbij streef je er naar in de frequentieverdeling dat er een aantal belangrijke kenmerken overeenkomen. Net zoveel ouderen als jongeren, net zoveel vrouwen als mannen etc. Maar de kenmerken van de eenheden zelf kunnen verschillen.

Je krijgt dus niet het resultaat dat de combinatie van kenmerken precies moet overeenkomen zoals met precisie matchen.

Matchen of homogeniseren kun je toepassen als je vermoed of weet dat ze invloed hebben op de afhankelijke variabele.

Front 34

Matchen of homogeniseren zijn geen vervangers voor randomiseren, maar

Back 34

een aanvulling die je kunt toepassen.

Randomiseren blijft de essentie.

Front 35

Frequentieverdeling controle of Globale controle

Back 35

Hierbij streef je er naar in de frequentieverdeling dat er een aantal belangrijke kenmerken overeenkomen. Net zoveel ouderen als jongeren, net zoveel vrouwen als mannen etc. Maar de kenmerken van de eenheden zelf kunnen verschillen.

Je krijgt dus niet het resultaat dat de combinatie van kenmerken precies moet overeenkomen zoals met precisie matchen.

Front 36

Matchen of homogeniseren kun je toepassen als

Back 36

je vermoed of weet dat ze invloed hebben op de afhankelijke variabele.

Matchen of homogeniseren zijn geen vervangers voor randomiseren, maar een aanvulling die je kunt toepassen. Randomiseren blijft de essentie.

Front 37

Samenvartiong 4.3.3
In combinatie met randomiseren kun je gebruik maken van:
Matchen.
Matchen is:

Back 37

Het gelijk maken van de experimentele groep en de controlegroep.

Front 38

Bij precisie matching

Bij precisie matching worden paren van onderzoekseenheden samengesteld die grotendeels gelijk zijn op kenmerken waarvan jij denkt dat ze van invloed zin op de afhankelijke variabele. Den k aan leeftijd en sekse. Van ieder paar komt er 1 persoon in de experimentele en de andere in de controle groep. Dit gebeurd uiteraard op toevals (random) basis.

Back 38

Globale matching.

Bi globale matching streef je er naar da de frequentieverdeling van een aantal kenmerken als leeftijd en sekse in de experimentele en controlegroep gelijk zijn. Je kunt het experiment ook beperken tot bijv. alleen mannen of vrouwen. Dat noem je homogeniseren. (gelijktrekken)
Het zijn geen alternatieven voor randomisatie.

Front 39

4.4 quasi experimentele ontwerpen.
Een quasi experimenteel ontwerp zit tussen het pre-experimenteel ontwerp en

Back 39

het zuiver experimenteel ontwerp in. Soms is de onafhankelijke variabele systematisch te variëren en soms niet.

Front 40

Je kan beter gebruik maken va een quasi-experiment als:

Back 40

Random aanwijzing van de onderzoekseenheden niet mogelijk is.
Je geen genoegen wilt nemen met een pre-experiment.

Vaak is randomisatie niet mogelijk als je bijvoorbeeld te maken hebt met bestaande groepen als een afdeling, klas ed.

Front 41

Quasi experimenteel ontwerpen:

Back 41

Quasi experimenteel ontwerp 1
Voor en nameting met experimentele en controlegroep, geen randomisatie

Quasi experimenteel ontwerp 2
Enkelvoudige tijdreeks

Quasi experimenteel ontwerp 3
Meervoudige tijdreeks, geen randomisatie.

Quasi experimenteel ontwerp 1 lijkt op het zuiverexperiment. Alleen is er geen randomisatie.
Daarom zijn de groepen ook niet zondermeer uitwisselbaar.

Front 42

Enkelvoudige tijdreeks

Back 42

Een enkelvoudige tijdreeks is een uitbreiding van het pre-experimenteel ontwerp. In plaats van 1 voor en 1 nameting worden zowel voor als na de introductie van de experimentele variabele diverse verschillende metingen gedaan.

Bij een tijdreeks kun je je conclusie pas baseren op verandering of variatie in de metingen die he hebt gedaan bij de zelfde onderzoekseenheden op diverse tijdstippen.

Front 43

Meervoudige tijdreeks.

Back 43

Beter is gebruik te maken van een meervoudige tijdreeks. 1 waar je de experimentele variabele hebt toegepast en 1 waarin niet. Dan pas kun je echt objectief zijn.

Front 44

Non reactieve meting.
Als je geen invloed uitoefent op personen of situaties die bestaan of gewoon zijn ontstaan. Het lijkt wellicht dat je hier minder te maken hebt met dingen als het ‘testeffect’. Maar ......

Back 44

dat is niet waar.

Zo zou het kunnen dat door veel aandacht in de media vanwege een ongeluk van een bekend iemand, ineens er minder ongelukken plaatsvinden. Dat heeft invloed op je onderzoek. Dat weet je dus niet. Ook de politie kan in een keer strenger zijn. De verandering in het aantal ongelukken zou dan bijv. een gevolg kunnen zijn van instrumentatie. En vertekend dus je onderzoek.

Front 45

Samenvatting 4.4
Quasi experimenteel ontwerpen zitten tussen

Back 45

pre-experimentele en zuiverexperimentele onderzoeksontwerpen in.

Vaak wordt er gebruik gemaakt van bestaande groepen als klassen of afdelingen.
Random toewijzing van de onderzoekseenheden aan de experimentele en controlegroep is vaak niet mogelijk
Karakteristieke voorbeelden van quasi experimentele ontwerpen zijn de enkelvoudige tijdreeks en meervoudige tijdreeks.

Front 46

4.5 Surveyonderzoek

Survey voorbeelden van relevantie:

Back 46

Inventariseren van bijvoorbeeld behoefte aan kennis impliceert een survey

Kennis over verkeersgedrag (bijv door observatie).
Onderzoeksvragen met een onderlinge samenhang tussen functie, stress, werkdruk en gezondheid.

Front 47

4.5.1 Survey: karakterisering

Back 47

Bij een survey worden in de regel bij grote aantallen onderzoekseenheden gegevens verzameld via systematische ondervraging of observatie.

Meestal door middel van een steekproef van onderzoekseenheden uit een Nader omschreven populatie.
Verzameling van kenmerken gaat vaak dmv interview danwel observatie.

Front 48

4.5.2 Typen surveyonderzoek

Back 48

• Eenmalige survey
• Longitudinaal survey onderzoek
o Panelonderzoek
o Trendonderzoek
o Prospectief onderzoek

Problematisch bij survey’s is het moeilijk of niet aan te tonen causaliteit of oorzakelijke verbanden.

Front 49

De mogelijkheden de resultaten van het onderzoek te generaliseren naar andere onderzoekseenheden op andere plaatsen, onder andere omstandigheden is echter niet geringer/minder dan bij een zuiverexperiment. (je hebt veel data)

Veel medisch onderzoekers moeten genoegen nemen met een survey. Waarom?

Back 49

Omdat de patiënten of cliënten die zich aandienen voor het onderzoek zich aanmelden in die speciale X periode. De interne validiteit is dan natuurlijk hoog, maar de externe niet. Want volgend jaar is het weer anders.

Toch, een survey heeft over het algemeen een lage interne validiteit en (als er sprake is van een A-selecte steekproef)

Front 50

Meestal gaat het om 1 tijdstip van een survey maar je hebt ook andere survey’s.

Back 50

Longitudinaal Survey onderzoek: er word over diverse tijdstippen de zelfde informatie gezocht

Front 51

Voorbeelden van Longitudinaal Survey onderzoek:

Back 51

• Panelsurvey onderzoek:
de zelfde gegevens worden op verschillende tijdstippen bij de zelfde onderzoekseenheden verzameld.

• Trend onderzoek:
Je zoekt de zelfde gegevens op verschillende tijdstippen bij steeds andere personen/onderzoekseenheden.

• Prospectief onderzoek:
Lijkt op (quasie)experimenteel onderzoek. Op diverse tijstippen worden gegevens verzameld waarbij je streeft naar het nabootsen van een ecperimentele en controle conditie zoals bij een zuiver experiment. Denk aan het voorspellen van zieken bij een bedrijf. Je neemt bijv. de 100 meest zieken die je volgt ten opzichte van de 100 minst zieken. Deze worden een tijd gevolgd.

Front 52

4.6 Causaliteit en ontwerp van onderzoek.
4.6.1 Wat is causaliteit?

Back 52

Je moet uitspraken kunnen doen van een oorzakelijk verband tussen een experimentele en afhankelijke variabele. Er moet een verschil zijn tussen de verwachte richting tussen de experimentele groep en controlegroep.

Front 53

Er zijn 3 voorwaarden wil je van een causaal verband mogen spreken:

Back 53

1. Er moet een statistische verband zijn tussen twee kenmerken of covariatie zijn.

2. De variabele die je als veroorzakende, onafhankelijke variabele beschouwt moet in de tijd voorafgegaan zijn aan de afhankelijke variabele.

3. Aangetoond moet kunnen worden dat het verband tussen kenmerk 1 en kenmerk 2 geen vals of schijnbaar verband is.

Front 54

Schijncorrelatie:

Back 54

Neem het voorbeeld van geboorten en het aantal ooievaars. Wat blijkt, waar ooievaars leven, leven vaak religieuze mensen. Op het platteland. Dus geen anticonceptie.

Front 55

4.6.2 Causaliteit en onderzoekontwerp.

Het zuivere experiment is de beste grondvorm van onderzoek om aan de genoemde voorwaarden te kunnen voldoen omdat:

Back 55

1. Het statistische verband kan makkelijk worden nagegaan door de scores op de afhankelijke variabele van de experimentele en controlegroep met elkaar te vergelijken.

2. De tijdsvolgorde heb je in de hand, doordat je als onderzoeker zelf de experimentele variabele of conditie ‘toedient’.

3. Door randomisering worden eventuele effecten van externe kenmerken gereduceerd tot toevalsfouten.

Front 56

Quasi experimentele ontwerpen zijn waarom minder geschikt voor causale hypothesen te toetsen?
Waarom?

Het survey onderzoek is ook minder geschikt omdat:

Back 56

Quasi experimentele ontwerpen zijn waarom minder geschikt voor causale hypothesen te toetsen?
Er is geen sprake van randomisatie

Het survey onderzoek is ook minder geschikt omdat:
je niet echt kunt nagaan of de oorzakelijke variabele de daadwerkelijke oorzakelijke variabele is die voorafgegaan wordt aan de gevolgvariabele

Front 57

Soms is het niet duidelijk dat er een derde variabel in het spel is. Dit kun je nagaan door analyse technieken.

Dat komt neer op het...

Back 57

homogeniseren, achteraf gelijkmaken van de groepen.