Methodologische en statistische blunders

In de loop van de jaren zijn we bij het lezen van artikelen en onderzoeksrapporten en bij het geven van advies regelmatig statistische missers en zelfs statistische blunders tegengekomen. Deze fouten komen vaak voort uit een gebrek aan statistische kennis, een gebrek aan begeleiding bij jonge onderzoekers of een onderschatting van de manier waarop statische methoden uitgevoerd moeten worden. Dat laatste uit zich onder andere door het feit dat de statistische bewerkingen en redeneringen aan verkeerde partijen worden uitbesteed, waaronder ict-ers, algemene adviesbureaus of accountantsbureaus.

Hieronder bespreken we enkele van deze statistische blunders, waarbij we ons beperken tot kritiek op de gebruikte methodologie en/of statistiek die in publicaties is verschenen. Zo kan eenieder de bron en onze kritiek naast elkaar leggen. Hieronder staan de fouten kort opgesomd; een nadere uitwerking is in een apart te downloaden pdf-bestand gezet. Daarbij zijn sommige statistische blunders echt lachwekkend. Zoals men vroeger zei: "ter lering ende vermaak".

1. De klok en de klepel, 2015

Kritiek op: Studie kostprijs en hoeveelheid zwerfvuil in 2013, KplusV en OVAM, 2015

2. Grote fouten in rapport NZA, 2013

Kritiek op: Impactanalyse DOT honorariumtarieven, Tariefbeschikking honoraria DOT 2012, NZA, 2012

3. A collection of statistical mistakes, 2015

Kritiek op: Similar patient outcomes yet different hospital costs between flowable hemostatic agents, Guy David et al, 2015

______________________________________________________________________________________________

1. De klok en de klepel

Voor het indienen van een offerte voor de "Studie kennisvergaring sluikstorten" was het noodzakelijk een aan het onderwerp gerelateerde publicatie te bekijken, namelijk Studie kostprijs en hoeveelheid zwerfvuil in 2013 dat door KplusV uit Arnhem is uitgevoerd en door de OVAM is uitgegeven. Bij het lezen bleek dit rapport een groot aantal methodologische en statistische fouten te bevatten waardoor ons inziens de uitkomsten van dit onderzoek volkomen onbetrouwbaar en onbruikbaar zijn. Aangezien in het bestek verwezen werd naar dit rapport en de uitkomsten ervan, is een aantal van deze punten in de offerte aangestipt. Deze zijn nader uitgewerkt in het artikel De klok en de klepel, E.P. Martens, Statisticor, 2016.
Een samenvatting van de kritiek is hieronder weergegeven. Hun toelichting op de berekening van de steekproefomvang in Bijlage 2 op pag 67-68 is overigens een echte aanrader en vormde de inspiratiebron voor de titel van dit artikel:
- er wordt geen rekening gehouden met non-respons,
- er wordt beperkt en verkeerd geëxtrapoleerd (het meest essentiële onderdeel van dit onderzoek),
- de gehele Bijlage 2 staat vol met fouten,
- er worden verkeerde formules gegeven en verkeerd toegelicht,
- er wordt een verkeerde parameter gebruikt als input voor de berekening,
- er wordt een verkeerde standaarddeviatie gebruikt als input voor de berekening,
- er wordt geen rekening gehouden met de eindigheidscorrectie.

2. Grote fouten in rapport Nederlandse Zorgautoriteit (NZA)

In 2012 is door de Nederlandse Zorgautoriteit (NZa), een rapportage uitgebracht genaamd Impactanalyse DOT honorariumtarieven, Tariefbeschikking honoraria DOT 2012 en is openbaar in te zien op hun website. Statisticor heeft de twee deelconceptrapportages beoordeeld: conceptrapportage deel 1 en conceptrapportage deel 2. Ondanks dat dit oordeel goed beargumenteerd en behoorlijk negatief was en de rapportage op dat moment nog het predicaat 'concept' droeg, is er met de kritiek niets gedaan in de eindrapportage. De reden was dat dat station al gepasseerd was bij de onderhandelingen over honorariumtarieven. Men had geen zin zich nog te verdiepen in de argumentatie en foute conclusies uit verkeerde analyses aan te passen. Deze uitgebreide kritiek is te lezen in het artikel Grote fouten in rapport Nederlandse Zorgautoriteit, E.P. Martens, Statisticor, 2011. Met het onderzoeksrapport ernaast kan eenieder deze kritiek verifiëren. Hieronder volgt een korte samenvatting:
- er wordt een ernstige fout gemaakt omdat de analyses niet aansluiten bij de doelstellingen,
- er worden vrij amateuristisch verkeerde conclusies uit een histogram getrokken,
- er wordt verkeerd gebruik gemaakt van de standaarddeviatie,
- er worden vergelijkbare fouten gemaakt in het eindrapport van 2013.

3. A collection of statistical mistakes in a published paper

Van het gepubliceerde artikel Similar patient outcomes yet different hospital costs between flowable hemostatic agents, van Guy David, Sangtaeck Limb, Candace Gunnarssonc, Richard Kochariand en Sanjoy Royin Journal of Medical Economics Volume 18, Issue 9, 2015, is de methodologie en gebruikte statistiek onder de loep genomen. In dit artikel worden de kosten van twee medische producten vergeleken. Bij dit artikel gaat werkelijk van alles mis:
- de confounder die opgenomen is in het model zorgt ervoor dat de onderzoeksvraag niet beantwoord wordt,
- er wordt een formule gebruikt die niet van toepassing is op de situatie,
- de van internet geplukte toelichting bij de formule is eveneens niet van toepassing,
- er ontbreekt een aan te bevelen random effect voor ziekenhuis,
- er wordt een verkeerde interpretatie gegeven van een simpele lineaire regressiecoëfficiënt,
- er wordt een slecht toegelichte set modellen gepresenteerd,
- sterke scheefheid in de afhankelijke variabele wordt genegeerd,
- de zogenaamde check op robuustheid wordt onduidelijk beschreven,
- er wordt OLS gebruikt voor dichotome respons variabelen.

Voor een complete verantwoording van deze kritiek wordt verwezen naar het artikel A collection of statistical mistakes in a published paper, E.P. Martens, Statisticor, 2015.

privacy

disclaimer