Ik bladerde door de hoofdtekst – niets – maar eenmaal aangekomen bij Appendix H zag ik dat De Vries en haar co-auteurs wel degelijk zo’n analyse hadden gemaakt. Daar kwam alleen niks uit. Dorpen vlak onder de drempel (4.500 tot 5.000 inwoners) stemden niet significant vaker radicaal-rechts dan dorpen vlak boven de drempel (5.000 tot 5.500 inwoners).
Dat is vreemd, leek mij, zeker wanneer je die analyse zo prominent in je boek noemt – vermoedelijk omdat je ’m zelf overtuigend vindt. Maar De Vries en haar co-auteurs maakten zich weinig zorgen over dit non-resultaat. Ze schreven in de appendix dat ze ‘meer vertrouwen’ hadden in hun andere analyses. De redenen die ze daarvoor aandroegen kwamen op mij over als een hoop academisch handgewapper.
Nou moet je weten: het American Journal of Political Science verplicht auteurs hun code en data openbaar te maken.* Dat maakt het makkelijk om onderzoek na te rekenen, of om er zelf iets aan toe te voegen. Ik had een podcast met De Vries in de planning, een weekend voor me, en een Claude Max-abonnement – dus ik dacht: laat ik zelf eens wat proberen!
De placeboprelude in F-mineur: ook van een suikerpil word je radicaal-rechts!
Een paar dagen later snapte ik waarom Appendix H nergens op uit draaide.
Het probleem in een notendop: De Vries claimt dat er in 2010 iets bijzonders is gebeurd in dorpen met minder dan 5.000 inwoners (die smerige gifpil van koude sanering!). Maar kijk je naar een grafiek van Italiaanse verkiezingsuitslagen naar gemeentegrootte, dan zie je geen magisch omslagpunt bij 5.000 inwoners. Je ziet een aflopende curve, die met elke voorbijgaande verkiezing steiler afloopt: hoe kleiner de gemeente, hoe radicaler rechts er gestemd wordt.
Die anderhalf procentpunt meer radicaal-rechtse stemmen in kleine gemeenten is dus niet het gevolg van een bezuinigingsoperatie in 2010. De Vries pikt een algemene trend op die daar los van staat: inwoners van kleine gemeenten slaan sowieso steeds radicaler rechts af.
Daarom leverde Appendix H ook niks op. Vergelijk je alle gemeenten onder 5.000 inwoners met alle gemeenten daarboven, dan neem je die hele aflopende curve mee – en vind je een fors verschil in radicaal-rechtse stemmen. Vergelijk je alleen gemeenten vlak onder de drempel (4.500 tot 5.000 inwoners) met gemeenten vlak erboven (5.000 tot 5.500), dan kijk je naar een piepklein stukje van diezelfde curve – en is het verschil nihil.
Daar bleef het niet bij. Het effect dat De Vries en haar co-auteurs toeschreven aan gemeentelijke bezuinigingen dook op bij elke willekeurige bevolkingsdrempel: niet alleen bij 5.000 inwoners, maar net zo goed bij 10.000, 20.000 of 50.000. Het dook op in willekeurige breukjaren: niet alleen na 2010, maar ook na 2003 of 2006. En het dook op in Frankrijk, waar zo’n hervorming nooit had plaatsgevonden. Franse dorpjes onder de 5.000 inwoners stemden vanaf 2010 zelfs nog vaker radicaal-rechts dan Italiaanse!
Een onderzoeksmethode waarmee je overal effecten vindt – ook als er niks is gebeurd – meet niet wat ze hoopt te meten. Ook in een natuurlijk experiment moet je de gifpil namelijk kunnen onderscheiden van de placebopil. En hier bleken mensen van een suikerpil net zo radicaal-rechts te worden als van een gifpil.
Volstaat te zeggen dat ik er na deze exercitie niet zo zeker meer van was dat dit onderzoek ‘weinig ruimte liet voor twijfel’. En de deskundigen die ik mijn bevindingen voorlegde kwamen tot hetzelfde oordeel: de onderzoeksmethode rammelt.
