• Shuffle
    Toggle On
    Toggle Off
  • Alphabetize
    Toggle On
    Toggle Off
  • Front First
    Toggle On
    Toggle Off
  • Both Sides
    Toggle On
    Toggle Off
  • Read
    Toggle On
    Toggle Off
Reading...
Front

Card Range To Study

through

image

Play button

image

Play button

image

Progress

1/59

Click to flip

Use LEFT and RIGHT arrow keys to navigate between flashcards;

Use UP and DOWN arrow keys to flip the card;

H to show hint;

A reads text to speech;

59 Cards in this Set

  • Front
  • Back
10.1 Inleiding

Wanneer in de populatie daadwerkelijk een effect bestaat (de nulhypothese is onjuist), dan garandeert dit niet dat er met een statistische toets altijd een significant resultaat uitkomt.

Dat heeft te maken met het...
on­derscheidingsvermogen van de gebruikte toets.

Bij een klein onderschei­dingsvermogen zal een toets niet snel tot een significante uitkomst lei­den, ook al is de nulhypothese onjuist.
Wanneer het onderscheidingsvermogen te klein is, kan de onderzoeker proberen daar wat aan te doen, bijvoorbeeld door
het ne­men van een grotere steekproef.
In hoofdstuk 5 'Inleiding schatten en toetsen' is uiteengezet hoe we via een statistische toetsing op basis van steekproefgegevens een uitspraak kunnen doen over de populatie.

Daarbij wordt uitgegaan van een nul­ hypothese H0 en een alternatieve hypothese H1 .

De nulhypothese stelt dat
er in de populatie géén effect is, en de alternatieve hypothese stelt dat er in de populatie wél een effect is.

Op basis van de steekproefgege­vens wordt vervolgens beslist of de gesteld e nulhypothese moet wor­den verworpen.
Doorgaans stelt onze onderzoekshypothese dat er in de populatie een effect is, en zijn we dus geïnteresseerd in
het verwerpen van de nulhypothese.
Bijvoorbeeld, veronderstel dat we een experiment uitvoeren om te onderzoeken of een drugsvoorlichting waarbij aan angstgevoelens wordt geappelleerd meer effect heeft dan een voorlichting waarin dat uitdrukkelijk niet gebeurt.

We stellen op aselecte wijze twee groepen van twintig jongeren samen.

De experimentele groep krijgt voorlichting waarin op angst wordt ingespeeld, de controlegroep een meer zakelijke voorlichting.

De afhankelijke variabele is
de somscore op een vragenlijst waarin de kennis van de gevaren van verschillende drugs wordt gemeten.
In dit soort onderzoek zijn we geïnteresseerd in
het verschil tussen het effect in de experimentele en in de controlegroep.

We nemen aan dat de somscore een normale verdeling heeft.

Een voor de hand liggende toets is dan de t-toets voor het verschil van twee gemiddelden.
We nemen aan dat de somscore een normale verdeling heeft.

Een voor de hand liggende toets is dan
de t-toets voor het verschil van twee gemiddelden.

De nul hypothese is dat de experimentele groep en de controlegroep niet van elkaar verschillen; ze zijn afkomstig uit dezelfde populatie.

Verschillen tussen de experimentele en de controlegroep zijn zuiver toevallige steekproefvariaties.

De alternatieve hypothese stelt dat er wel degelijk verschillen zijn.
Wanneer we nu een t-toets uitvoeren en daarbij de nul hypothese verwerpen (we vinden significante resultaten) dan concluderen we dat het geobserveerde verschil tussen beide groepen veel groter is dan we op basis van steekproeffluctuaties mogen verwachten.

Het is dus onwaarschijnlijk dat beide groepen echt uit dezelfde populatie komen, en we gaan ervan uit dat
het experiment heeft gewerkt.
Ongeacht de uitkomst van de toets geldt dat
we geen spijkerhard bewijs kunnen leveren dat de nulhypothese waar is of niet, tenzij we de gehe­le populatie onderzoeken.

De redenering bij een statistische toets is im­mers gebaseerd op waarschijnlijkheden, waarbij we proberen het risico dat we een foute beslissing nemen zo klein mogelijk te maken.
Een statistische toets is gebaseerd op waarschijnlijkheden, waarbij we proberen het risico dat we een foute beslissing nemen zo klein mogelijk maken.

Zoals in hoofdstuk 5 is uiteengezet, kiezen we daarom een bepaald significantie­ niveau α, doorgaans α= 0,05 of α= 0,01, en bepalen dat we de nulhy­pothese alleen verwerpen wanneer
de overschrijdingskans van de ge­bruikte statistische toetsingsgrootheid kleiner is dan het gekozen signi­ficantieniveau.
Wanneer we kiezen voor α= 0,05, dan leggen we daar­ mee vast dat
wanneer de nulhypothese waar is (er is géén verschil) we slechts 5% kans lopen om de nulhypothese toch te verwerpen.
Het ten onrechte verwerpen van de nulhypothese heet een fout van
de eerste soort,

en door een kleine alfa te kiezen zorgen we er voor dat die kans klein is. Wanneer ons experiment in feite geen effect heeft, lopen we slechts 5% risico om toch een significant resultaat te vinden en daar­ door in feite de verkeerde conclusie te trekken.
Door het kiezen van een streng criterium voor significantie (een kleine alfa) houden we de kans op het maken van een fout van de eerste soort
klein.

Dit is echter slechts de helft van het probleem .
Veronderstel dat de op angst gebaseerde voorlichting in de experimentele groep wel de­ gelijk een groter effect heeft dan de zakelijke voorlichting in de contro­legroep.

Met andere woorden:
de nulhypothese is onwaar.

In deze situ­atie is de enige correcte uitkomst van onze statistische toets het ver­ werpen van de nulhypothese, dat wil zeggen het vinden van een signi­ficant resultaat.

Wanneer we de nulhypothese niet verwerpen, wanneer deze onwaar is, maken we een fout, aangeduid met bèta (β), die bekend staat als een fout van de tweede soort.
Wanneer we de nulhypothese niet verwerpen, wanneer deze onwaar is, maken we een fout, aangeduid met bèta (β), die bekend staat als
een fout van de tweede soort.
Het merkwaardige is dat in de meeste onderzoekspublicaties uitvoerig aandacht wordt besteed aan de significantietoets, en daarmee aan het beheersen van de fout van e eerste soort, en bijna nooit aan de fout van de tweede soort.

Dit is zo algemeen dat Elstrodt en Mellenbergh in een klassiek artikel waarin ze deze situatie aan de kaak stellen, spreken van 'de vergeten fout ' (Elstrodt & Melle11bergh, 1978).
Wanneer onder­ zoekers erin geïnteresseerd zijn om de nulhypothese te verwerpen, wat doorgaans het geval is, dan zouden ze moeten proberen om de fout bèta zo klein mogelijk te maken. Verschillende statistici hebben onderzocht (onder andere ook Elstrodt en Mellenbergh, 1978), hoe groot de fout van de tweede soort in sociaal-wetenschappelijk onderzoek door de bank genomen is, en hun conclusies zijn dat deze kans in veel ge­ vallen in de buurt van 0,40- 0,50 ligt.

Dat wil zeggen dat als alle soci­aal-wetenschappelijke theorieën die een of ander effect voorspellen waar zouden zijn, en dus alle bijbehorende nulhypothesen onwaar, we nog maar in iets meer dan de helft van de onderzoeken een signif icant effect zouden vinden!
Meestal spreken we niet over de fout van de tweede soort β, maar
over het onderscheidingsvermogen of de power van een statistische toets.
Onderscheidingsvermogen van een toets is 1- β:
-de kans om de nulhypothese te verwerpen wanneer deze daadwer­kelijk onwaar is;

-de kans om een 'significant' resultaat te vinden wanneer in de po­pulatie inderdaad een effect bestaat.
Een van de redenen waarom over het onderscheidingsvermogen van statistische toetsen in publicaties zo weinig wordt gezegd is vermoede­lijk ...
dat het bepalen van de fout bèta moeilijker is dan het bepalen van de fout alfa. Het significantieniveau van een toetsing bepalen we im­mers zelf, en met het kiezen van het conventionele significantieniveau van α= 0,05 bepalen we dat de fout van de eerste soort 5o/o is.

De fout van de tweede soort kunnen we niet eenvoudig zelf bepalen. We kun­nen deze fout alleen maar schatten, en proberen om ons onderzoek zo in te richten dat deze fout klein is.

Anders gezegd, we proberen ons on­derzoek zo in te richten dat de statistische toets een bevredigend on­derscheidingsvermogen heeft.
Anders gezegd, we proberen ons on­derzoek zo in te richten dat de statistische toets een bevredigend on­derscheidingsvermogen heeft.

Een probleem daarbij is dat standaard statistische programma 's zoals SPSS
weinig procedures hebben voor het schatten van het onderscheidingsvermogen.

Onderzoekers moeten daarvoor dus een gespecialiseerd programma gebruiken, of een boek met tabellen met onderscheidingsvermogens, of de benodigd e bereke­ningen zelf uitvoeren.
Het onderscheidingsvermogen is gedefinieerd als
de kans om de nulhypothese te verwerpen wanneer deze onwaar is.
10.2 Waardoor wordt het onderscheidingsvermogen van een toets bepaald?

Het onderscheidingsvermogen van een toets wordt beïnvloed door een aantal factoren:
1 Steekproefgrootte
2 Significantieniveau
3 Effectgrootte
4 Aard van de toets
1 Steekproefgrootte
2 Significantieniveau
3 Effectgrootte
4 Aard van de toets
1 Steekproefgrootte
Hoe groter de steekproef is, des te kleiner is de standaardfout van de steekproevenverdeling. Bij grotere steekproeven is de kans op het maken
van een fout van de tweede soort kleiner, ofwel is het onderscheidingsvermogen
groter.

2 Significantieniveau
Bij een grotere alfa is het gemakkelijker om een significant resultaat te vinden. Wanneer de nulhypothese onjuist is, is daarom bij een grotere alfa het onderscheidingsvermogen van de toets groter.

3 Effectgrootte
Wanneer de nulhypothese onwaar is, bestaat er dus een reëel effect.
Hoe groter dat effect is, des te gemakkelijker zal het zijn dat effect ook aan te tonen. Bij een groter effect is daarom het onderscheidingsvermogen van de toets groter.

4 Aard van de toets
Sommige toetsen hebben een groter onderscheidingsvermogen dan andere. In het algemeen hebben eenzijdige toetsen een groter onderscheidingsvermogen dan tweezijdige toetsen. Wanneer aan alle aannamen is voldaan, dan hebben parametrische toetsen een groter onderscheidingsvermogen dan non-parametrische toetsen. Wanneer niet aan alle aannamen is voldaan, hebben non-parametrische toetsen soms een groter onderscheidingsvermogen. We proberen uiteraard een toets te kiezen met een zo groot mogelijk onderscheidingsvermogen.
1 Steekproefgrootte
Hoe groter de steekproef is, des te kleiner is de standaardfout van de steekproevenverdeling.

Bij grotere steekproeven is de kans op het maken
van een fout van de tweede soort kleiner, ofwel is het onderscheidingsvermogen groter.
2 Significantieniveau
Bij een grotere alfa is het gemakkelijker om een significant resultaat te vinden.

Wanneer de nulhypothese onjuist is, is daarom bij een grotere alfa het onderscheidingsvermogen van de toets groter.
3 Effectgrootte
Wanneer de nulhypothese onwaar is, bestaat er dus een reëel effect.

Hoe groter dat effect is, des te gemakkelijker zal het zijn dat effect ook aan te tonen.

Bij een groter effect is daarom het onderscheidingsvermogen van de toets groter.
4 Aard van de toets
Sommige toetsen hebben een groter onderscheidingsvermogen dan andere.

In het algemeen hebben eenzijdige toetsen een groter onderscheidingsvermogen dan tweezijdige toetsen.

Wanneer aan alle aannamen is voldaan, dan hebben parametrische toetsen een groter onderscheidingsvermogen dan non-parametrische toetsen.

Wanneer niet aan alle aannamen is voldaan, hebben non-parametrische toetsen soms een groter onderscheidingsvermogen.

We proberen uiteraard een toets te kiezen met een zo groot mogelijk onderscheidingsvermogen.
Als we het onderscheidingsvermogen van een specifieke toets willen berekenen, dan moeten we dus wat weten?
de steekproefgrootte,
het significantieniveau
en de effectgrootte.
Het effect van verschillen in de steekproefgrootte, het significantieniveau en de effectgrootte wordt in figuur 10.1 grafisch gedemonstreerd.
Weergegeven is de toetsingssituatie bij een eenzijdige
z-toets voor twee gemiddelden bij een bekende standaardafwijking.
Weergegeven is de toetsingssituatie bij een eenzijdige
z-toets voor twee gemiddelden bij een bekende standaardafwijking.
In figu ur 10.1 zien we de steekproevenverdeling van het verschil tussen twee gemiddelden, links voor de situatie dat H0 waar is, en rechts voor de situatie dat H1 waar is. 

Bij een alfa van 0,05 is de kritieke waarde aangegeven door de vertica...
In figu ur 10.1 zien we de steekproevenverdeling van het verschil tussen twee gemiddelden, links voor de situatie dat H0 waar is, en rechts voor de situatie dat H1 waar is.

Bij een alfa van 0,05 is de kritieke waarde aangegeven door de verticale lijn bij de waarde k.

Het gedeelte van de steekproevenverdeling
onder H0 rechts van de lijn k is precies gelijk aan 0,05, en geeft de kans aan op het verwerpen van de nulhypothese wanneer die waar is.

Het gedeelte van de steekproevenverdeling onder H1 rechts van de lijn k geeft de kans aan dat de nulhypothese wordt verworpen wanneer in feite de alternatieve hypothese H1 waar is(= onderscheidingsvermogen 1- β). Uit de figuur valt duidelijk af te lezen dat er een flinke overlap
is tussen de beide verdelingen, en dat ook wanneer de nulhypothese onwaar is, de kans dat deze verworpen wordt zeker niet 100% is!

In figuur 10.2 zien we wat er gebeurt wanneer we grotere steekproeven nemen.
De formule voor de standaardfout van het verschil tussen twee gemiddelden is:
Wanneer steekproefgrootten n1 en n2 groter worden, wordt de standaardfout
kleiner. In de figuur betekent dat, dat de steekproevenverdelingen smaller worden.
kleiner. In de figuur betekent dat, dat de steekproevenverdelingen smaller worden.
We zien in figuur 10.2 als resultaat dat de kans om de H0 te verwerpen bij dezelfde alfa nu groter is, met andere woorden: het onderscheidingsvermogen
van de toets is groter geworden. 

In figuur 10.3 zien we wat er gebeurt wanneer we het signi...
We zien in figuur 10.2 als resultaat dat de kans om de H0 te verwerpen bij dezelfde alfa nu groter is, met andere woorden: het onderscheidingsvermogen
van de toets is groter geworden.

In figuur 10.3 zien we wat er gebeurt wanneer we het significantieniveau groter maken, bijvoorbeeld σ = 0,10.
Figuur 10.3 is bijna gelijk aan figuur 10.1, maar de positie van de lijn k is enigszins naar links verschoven.
Figuur 10.3 is bijna gelijk aan figuur 10.1, maar de positie van de lijn k is enigszins naar links verschoven.
We zien dat het onderscheidingsvermogen van de toets (de kans om de nulhypothese te verwerpen wanneer een specifieke H1 waar is en de H0
niet) groter is dan in figuur 10.1. 

Maar ook de kans om de nulhypothese ten onrechte te verwerpen is toeg...
We zien dat het onderscheidingsvermogen van de toets (de kans om de nulhypothese te verwerpen wanneer een specifieke H1 waar is en de H0
niet) groter is dan in figuur 10.1.

Maar ook de kans om de nulhypothese ten onrechte te verwerpen is toegenomen!
We hebben immers alfa op 0, 10 gesteld.

In figuur 10.4 zien we wat er gebeurt wanneer het verschil tussen de gemiddelden van de experimentele en de controlegroep groter wordt, wat wil zeggen dat de effectgrootte toeneemt.

Ook nu wordt het onderscheidingsvermogen van de toets groter, in dit geval zonder het significantieniveau
te veranderen .
Ook nu wordt het onderscheidingsvermogen van de toets groter, in dit geval zonder het significantieniveau
te veranderen .
Ook nu wordt het onderscheidingsvermogen van de toets groter, in dit geval zonder het significantieniveau
te veranderen .
Effectgrootte

Bi j een specifieke toets kan het onderscheidingsvermogen van die toets worden uitgerekend wanneer we de steekproefgrootte weten, de gekozen alfa en de effectgrootte.

De effectgrootte is nodig omdat
we de steekproevenverdeling moeten bepalen die geldt wanneer de alternatieve hypothese waar is.
Klein, middelmatig of groot effect

Het probleem is dat we in de meeste gevallen de effectgrootte niet kennen;

we voeren het onderzoek juist uit om daarover iets te weten te komen.

Cohen (1988) heeft voorgesteld om dit op te lossen door te onderzoeken wat het onderscheidingsvermogen van een toets is voor een klein, middelmatig of groot effect.

Onderzoekers moeten daarom:
van tevoren bepalen in welke effectgrootte zij geïnteresseerd zijn, of wat de effectgrootte is die redelijkerwijs kan worden verwacht.

Voor die effectgrootte wordt dan het onderscheidingsvermogen berekend.
In voorbeeld 10.1 waarin twee gemiddelden worden vergeleken, is de effectgrootte in principe eenvoudig het verschil tussen de beide gemiddelden.

De grootte van dit verschil hangt uiteraard af van
de schaal waarop de betreffende afhankelijke variabele is gemeten.

Een verschil van tien punten op een schaal die loopt van 1 tot 100 is misschien wel minder belangrijk dan een verschil van vijf punten op een schaal die
loopt van 1 tot 10.

Daarom wordt de effectgrootte meestal berekend door het verschil tussen de twee gemiddelden te delen door de standaardafwijking;
Daarom wordt de effectgrootte meestal berekend door het verschil tussen de twee gemiddelden te delen door
de standaardafwijking;

door deze standaardisatie corrigeren we voor verschillen tussen de schalen. We krijgen dan:
de standaardafwijking;

door deze standaardisatie corrigeren we voor verschillen tussen de schalen. We krijgen dan:
Het zou aantrekkelijk zijn om te eisen dat de kans op het maken van een fout van de tweede soort gelijk is aan die op het maken van een fout van de eerste soort.

Wanneer we kiezen voor het conventionele
significantieniveau α = 0,05, dan zouden we de steekproef zo groot moeten maken dat β = 0,05, ofwel dat het onderscheidingsvermogen van de toets 95% is.

Bij kleine tot middelmatige effectgroottes vereist dit echter
zeer grote steekproeven, veel groter dan doorgaans haalbaar is.
Cohen (1988) heeft daarom voorgesteld om
een onderscheidingsvermogen van 0,80 als een gewenst en in de praktijk haalbaar doel te nemen.

Ook dit vereist nog steeds grotere steekproeven dan in veel sociaalwetenschappelijk onderzoek gebruikelijk is.
Koele (1977) heeft daarom een andere strategie voorgesteld. Wanneer het onderscheidingsvermogen
onacceptabel laag is, kunnen we ook
de alfa groter maken dan 0,05, en bijvoorbeeld op 0, 10 stellen.

Dat is in sociaal-wetenschappelijk
onderzoek niet gebruikelijk, maar bijvoorbeeld in exploratief onderzoek goed te verdedigen.

Beter is natuurlijk om te proberen de steekproef te vergroten.

Andere manieren om een groter onderscheidingsvermogen te krijgen zijn het gebruik van meer betrouwbare meetinstrumenten en de keuze voor een betere onderzoeksopzet. Zo leidt een onderzoeksopzet met voor- en nametingen doorgaans tot toetsen met een groter onderscheidingsvermogen dan een eenvoudiger onderzoek met alleen nametingen. Lipsey (1990) behandelt een aantal van dit soort strategieën om tot een groter onderscheidingsvermogen te komen.
manieren om een groter onderscheidingsvermogen te krijgen zijn het gebruik van
-Grotere steekproeven
-meer betrouwbare meetinstrumenten en
-de keuze voor een betere onderzoeksopzet.
-voor en nametingen

Zo leidt een onderzoeksopzet met voor- en nametingen doorgaans tot toetsen met een groter onderscheidingsvermogen dan een eenvoudiger onderzoek met alleen nametingen.
10.3 Berekening bij twee onafhankelijke steekproeven

Veronderstel dat wij willen weten wat het onderscheidingsvermogen is van de toets voor het verschil tussen twee voorlichtingsmethoden bij twintig personen per groep.

We zijn alleen geïnteresseerd in een effect dat op zijn minst middelmatig is, dus een d van minimaal 0,5.

Figuur
10.5 laat zien hoe de steekproevenverdeling is onder de nulhypothese en onder de alternatieve hypothese.
Figuur 10.6 laat het verband zien tussen de steekproefgrootte en het onderscheidingsvermogen
van een tweezijdige t-toets bij een alfa van 0,05, voor drie verschillende effectgrootten. Duidelijk is te zien dat voor een groot effect met betrekkelijk kleine steekproeven kan worden volstaan, terwijl voor kleine effecten zeer grote steekproeven nodig zijn.
Elstrodt en Mellenbergh (1978) hebben het onderscheidingsvermogen bepaald van de toetsen in alle artikelen in drie jaargangen van het Nederlands
Tijdschrift voor de Psychologie.

Zij onderzochten toetsen voor correlaties, t-toetsen, Wilcoxon-Mann-Whitney-toetsen, variantiea nalyses, chi-kwadraattoetsen en tekentoetsen. Als sign ificantieniveau kozen zij een tweezijdige α = 0,05.


Bij een middelmatig effect was het mediane onderscheidingsvermogen voor toetsen op een
correlatie 78%, voort-toetsen en Wilcoxon/MannWhitney- toetsen 35%, voor chi-kwadraattoetsen 52%, voor variantie-analyses 39°Ai, en voor tekentoetsen 14%.

Hun conclusie is dat
de meeste gebruikte toetsen een veel te klein onderscheidingsvermogen hebben. Zij bevelen aan om grotere steekproeven te nemen, of een grotere alfa te kiezen.

Het aantonen van kleine effecten met kleine steekproeven achten zij onbegonnen werk. De
onderzoekers hebben nauwelijks kans om een significant resultaat te vinden.
10.4 Onderscheidingsvermogen van een aantal specifieke toetsen

10.4.1 De t-toets voor het verschil tussen twee gemiddelden.

De gebruikelijke maat voor de grootte van het verschil tussen de gemiddelden van twee onafhankelijke groepen, bijvoorbeeld een experimentele groep en een controlegroep, is d.

De formule hiervoor is:
Effectgrootte voor het verschil tussen twee gemiddelden
Effectgrootte voor het verschil tussen twee gemiddelden
We bereiken een acceptabel onderscheidingsvermogen bij steekproeven van in totaal vijftig of meer personen, zolang we op zoek zijn naar grote effecten.

Bij een groepsgrootte van 25 en een effectgrootte van d = 0,8 hebben we immers 79% kans om de nulhypothese terecht te verwerpen.

Bi j een middelmatig effect wordt dit al moeilijker. Wanneer we bij een verwacht middelmatig effect en een alfa van 0,05 een onderscheidingsvermogen van 80% willen hebben, dan moeten we volgens de tabel tussen de zestig en zeventig personen per
groep hebben, dat wil zeggen in totaal honderdtwintig à honderdveertig personen.

Dat is heel wat meer dan in veel onderzoek gebruikelijk is.

Wanneer we bereid zijn te toetsen bij een alfa van 0, 10 dan hebben we nog steeds 2 x 50 = 100 personen nodig. Kleine effecten zijn met de gebruikelijke steekproefgroottes
nauwelijks aan te tonen.
10.4.2 Toets voor de correlatie

Bi j de toets voor de significantie van een correlatiecoëfficiënt kunnen we de effectgrootte eenvoudig definiëren als de grootte van de correlatiecoëfficiënt zelf.

Effectgrootte =
grootte van de correlatiecoëfficiënt
grootte van de correlatiecoëfficiënt
Een klein effect wordt door Cohen (1988) gedefinieerd als een correlatie van 0,1, een middelmatig effect als een correlatie van 0,3, en een groot effect als een correlatie van 0,5.


Ook hier blijkt weer dat de steekproef tamelijk groot moet zijn willen we
een goede kans op een significant resultaat hebben.

Wanneer we weer uitgaan van een steekproef van twee schoolklassen met in totaal zestig leerlingen, dan hebben we nu een kans van 65% om bij een alfa van 0,05 een middelmatig effect aan te tonen.

Omgekeerd, wanneer we een onderscheidingsvermogen van 80% willen bij een alfa van 0,05 voor een middelmatig effect, dan moet de steekproef tachtig à negentig personen omvatten. Net als bij de toets voor het verschil tussen twee
gemiddelden zien we dat het onderscheidingsvermogen voor kleine effecten doorgaans gering is, zelfs als we bereid zijn te toetsen bij een alfa van 0,10.
10.4.3 Variantie-analyse

Bij variantie-analyse worden doorgaans wat vergeleken?
meer dan twee groepen met elkaar vergeleken; we kunnen daarom niet eenvoudig de d berekenen die
we bij de t-toets gebruikten.
meer dan twee groepen met elkaar vergeleken; we kunnen daarom niet eenvoudig de d berekenen die
we bij de t-toets gebruikten.
Bij variantieanalyse zijn er twee belangrijke complicaties.
Bij variantieanalyse zijn er twee belangrijke complicaties.
De eerste complicatie is dat het onderscheidingsvermogen afhangt van
het aantal groepen. Voor elk verschillend aantal groepen moet dus een aparte onderscheidingsvennogentabel worden gebruikt. Dat leidt tot een groot aantal tabellen.

De tweede complicatie is dat de rekenprocedures bij ongelijke groepsgroottes vooral bij een twee- en meerwegsvariantie-analyse nogal ingewikkeld
zijn.
10.4.4 Chi-kwadraattoets bij een kruistabel

Bij een kruistabel is de nulhypothese dat er
geen verband is tussen de twee variabelen waarop de kruistabel is gebaseerd.

In dat geval zijn de
verwachte frequenties in de cellen gelijk aan fe = (randtotaal A) · (randtotaal B) / n.

De toetsingsgrootheid chi-kwadraat is gebaseerd op de discrepanties tussen de verwachte frequenties en de geobserveerde frequenties.

De maat voor effectgrootte volgt dezelfde logica, maar in plaats van frequenties worden proporties genomen. We bepalen de Po, de verwachte proporties onder de nulhypothese, en de P1, de verwachte proporties onder de alternatieve hypothese.
De maat voor effectgrootte volgt dezelfde logica, maar in plaats van frequenties worden proporties genomen. We bepalen de Po, de verwachte proporties onder de nulhypothese, en de P1, de verwachte proporties onder de alternatieve hypothese.
Bij een analyse van het onderscheidingsvermogen van een reeds uitgevoerde toets kunnen we voor de p1 de geobserveerde proporties nemen.

Wanneer we bij het plannen van een onderzoek het onderscheidingsvermogen willen schatten, moeten we met een denkbeeldige kruistabel werken.

Dat wil zeggen, we moeten een kruistabel verzinnen die een bepaald effect bevat, en daarvoor nemen we da n het kleinste effect (de kleinste afwijking van de nulhypothese) waarin we nog geïnteresseerd zijn.
10.4.5 Non-parametrische toetsen

Bij non-parametrische toetsen is het moeilijk om
het onderscheidingsvermogen te berekenen.

Het probleem is dat we bij een non-parametrische
toets niet uitgaan van een normale verdeling, en meestal de verdeling zelfs als onbekend veronderstellen.

Het onderscheidingsvermogen van een non-parametrische toets hangt echter onder andere af van die onbekende verdeling, en daarbij speelt ook nog een rol of er veel gelijke waarden (knopen, ties) voorkomen. Om iets zinnigs te kunnen zeggen over het onderscheidingsvermogen van een non-parametrische
toets moeten we dus bereid zijn voor de variabelen een specifieke verdeling aan te nemen.

Dat is uiteraard ietwat onnatuurlijk, want we kiezen
meestal juist een non-parametrische toets omdat we geen aannamen over de verdelingen willen maken. Zodra we namelijk een specifieke verdeling aannemen, va lt er ook wel een transformatie te verzinnen
om die verdeling om te zetten een normale verdeling, en kunnen we eigenlijk van een non-parametrische toets afzien.
Het onderscheidingsvermogen van
een non-parametrische toets hangt echter onder andere af van die onbekende verdeling, en daarbij speelt ook nog een rol of er veel gelijke waarden (knopen, ties) voorkomen.

Om iets zinnigs te kunnen zeggen over het onderscheidingsvermogen van een non-parametrische
toets moeten we dus bereid zijn voor de variabelen een specifieke verdeling aan te nemen.
Om iets zinnigs te kunnen zeggen over het onderscheidingsvermogen van een non-parametrische
toets moeten we dus bereid zijn wat aan te nemen?
voor de variabelen een specifieke verdeling aan te nemen.

Dat is uiteraard ietwat onnatuurlijk, want we kiezen
meestal juist een non-parametrische toets omdat we geen aannamen over de verdelingen willen maken. Zodra we namelijk een specifieke verdeling aannemen, va lt er ook wel een transformatie te verzinnen
om die verdeling om te zetten een normale verdeling, en kunnen we eigenlijk van een non-parametrische toets afzien.
Dat is uiteraard ietwat onnatuurlijk, want we kiezen
meestal juist een non-parametrische toets omdat we
geen aannamen over de verdelingen willen maken.

Zodra we namelijk een specifieke verdeling aannemen, valt er ook wel een transformatie te verzinnen
om die verdeling om te zetten een normale verdeling, en kunnen we eigenlijk van een non-parametrische toets afzien.
Wanneer we een non-parametrische toets gebruiken voor gegevens die normaal verdeeld zijn, dan heeft de non-parametrische toets vrijwel altijd
een kleiner onderscheidingsvermogen dan de overeenkomstige parametrische
toets.

Siegel en Castellan (1988) gebruiken hiervoor het begrip 'power-efficiency.'

Een non-parametrische toets is efficiënt wanneer
hij vergeleken met zijn parametrische tegenhanger bijna evenveel onderscheidingsvermogen heeft.
Siegel en Castellan (1988) gebruiken hiervoor het begrip 'power-efficiency.'

Een non-parametrische toets is efficiënt wanneer
hij vergeleken met zijn parametrische tegenhanger bijna evenveel onderscheidingsvermogen heeft.