|
Methodologische en statistische blunders
In de loop van de jaren zijn we bij het lezen van artikelen en onderzoeksrapporten en bij het geven van advies regelmatig statistische missers en zelfs statistische blunders tegengekomen.
Deze fouten komen vaak voort
uit een gebrek aan statistische kennis, een gebrek aan begeleiding bij jonge onderzoekers of een onderschatting van de manier waarop statische methoden uitgevoerd
moeten worden. Dat laatste uit zich onder andere door het feit dat de statistische bewerkingen en redeneringen aan verkeerde partijen worden uitbesteed, waaronder ict-ers, algemene adviesbureaus
of accountantsbureaus.
Hieronder bespreken we enkele van deze statistische blunders, waarbij we ons beperken tot kritiek op de gebruikte methodologie en/of statistiek die in publicaties
is verschenen. Zo kan eenieder de bron en onze kritiek naast elkaar leggen. Hieronder staan de fouten kort opgesomd; een nadere uitwerking is in een apart te downloaden pdf-bestand gezet.
Daarbij zijn sommige statistische blunders echt lachwekkend. Zoals men vroeger zei: "ter lering ende vermaak".
______________________________________________________________________________________________
1. De klok en de klepel
Voor het indienen van een offerte voor de "Studie kennisvergaring sluikstorten" was het noodzakelijk een aan het onderwerp gerelateerde publicatie
te bekijken, namelijk
Studie kostprijs en hoeveelheid zwerfvuil in 2013 dat door KplusV uit Arnhem is uitgevoerd en door de
OVAM is uitgegeven. Bij het lezen bleek dit rapport een groot aantal methodologische en statistische fouten te bevatten waardoor ons inziens de
uitkomsten van dit onderzoek volkomen onbetrouwbaar en onbruikbaar zijn. Aangezien in het bestek verwezen werd naar dit rapport en de uitkomsten ervan, is een aantal van
deze punten in de offerte aangestipt. Deze zijn nader uitgewerkt in het artikel
De klok en de klepel, E.P. Martens, Statisticor, 2016. Een samenvatting van de kritiek is hieronder weergegeven. Hun toelichting op de berekening
van de steekproefomvang in Bijlage 2 op pag 67-68 is overigens een echte aanrader en vormde de inspiratiebron voor de titel van dit artikel:
- er wordt geen rekening gehouden met non-respons,
- er wordt beperkt en verkeerd geëxtrapoleerd (het meest essentiële onderdeel van dit onderzoek),
- de gehele Bijlage 2 staat vol met fouten,
- er worden verkeerde formules gegeven en verkeerd toegelicht,
- er wordt een verkeerde parameter gebruikt als input voor de berekening,
- er wordt een verkeerde standaarddeviatie gebruikt als input voor de berekening,
- er wordt geen rekening gehouden met de eindigheidscorrectie.
2. Grote fouten in rapport Nederlandse Zorgautoriteit (NZA)
In 2012 is door de Nederlandse Zorgautoriteit (NZa), een rapportage uitgebracht genaamd
Impactanalyse DOT honorariumtarieven, Tariefbeschikking honoraria DOT 2012 en is openbaar in te zien op hun website. Statisticor heeft
de twee deelconceptrapportages beoordeeld:
conceptrapportage deel 1 en
conceptrapportage deel 2. Ondanks dat dit oordeel goed beargumenteerd en behoorlijk negatief was en de rapportage op dat moment nog het predicaat 'concept' droeg,
is er met de kritiek niets gedaan in de eindrapportage. De reden was dat dat station al gepasseerd was bij de onderhandelingen over
honorariumtarieven. Men had geen zin zich nog te verdiepen in de argumentatie en foute conclusies uit verkeerde analyses aan te passen.
Deze uitgebreide kritiek is te lezen in het artikel Grote fouten in rapport Nederlandse Zorgautoriteit,
E.P. Martens, Statisticor, 2011. Met het onderzoeksrapport ernaast kan eenieder deze kritiek verifiëren. Hieronder volgt een korte samenvatting:
- er wordt een ernstige fout gemaakt omdat de analyses niet aansluiten bij de doelstellingen,
- er worden vrij amateuristisch verkeerde conclusies uit een histogram getrokken,
- er wordt verkeerd gebruik gemaakt van de standaarddeviatie,
- er worden vergelijkbare fouten gemaakt in het
eindrapport van 2013.
3. A collection of statistical mistakes in a published paper
Van het gepubliceerde artikel Similar patient outcomes yet different hospital costs between
flowable hemostatic agents, van Guy David, Sangtaeck Limb, Candace Gunnarssonc, Richard Kochariand en Sanjoy Royin Journal of Medical Economics Volume 18, Issue 9, 2015,
is de methodologie en gebruikte statistiek onder de loep genomen. In dit artikel worden de kosten van twee medische producten
vergeleken. Bij dit artikel gaat werkelijk van alles mis:
- de confounder die opgenomen is in het model zorgt ervoor dat de onderzoeksvraag niet beantwoord wordt,
- er wordt een formule gebruikt die niet van toepassing is op de situatie,
- de van internet geplukte toelichting bij de formule is eveneens niet van toepassing,
- er ontbreekt een aan te bevelen random effect voor ziekenhuis,
- er wordt een verkeerde interpretatie gegeven van een simpele lineaire regressiecoëfficiënt,
- er wordt een slecht toegelichte set modellen gepresenteerd,
- sterke scheefheid in de afhankelijke variabele wordt genegeerd,
- de zogenaamde check op robuustheid wordt onduidelijk beschreven,
- er wordt OLS gebruikt voor dichotome respons variabelen.
Voor een complete verantwoording van deze kritiek wordt verwezen naar het artikel A collection of statistical mistakes in a published paper,
E.P. Martens, Statisticor, 2015.
|
|
|