Bijdrage aan audit voor Ned. Zorgautoritiet

In opdracht van Baker Tilly Berk is voor de Nederlandse Zorgautoriteit (NZa) meegewerkt aan een audit van een onderzoek naar de lonen van medisch specialisten.

Verifiëren van berekeningsstappen

Met behulp van verschillende bronbestanden (gegevens over instellingen, tarieven, fte, omzet, productie en uitval) en broncodes (Matlab) is nagegaan of de juiste bestanden zijn gebruikt, de koppelingen goed zijn uitgevoerd en of het aggregeren correct is gedaan. Daarnaast zijn de berekeningen van verhoudingen, het aanmaken van nieuwe variabelen en de bedoelde selecties gecontroleerd. Hieruit kwamen geen grote problemen naar voren.

Beoordelen rapportage: statistische blunders

De definitieve rapportage die uiteindelijk gemaakt is, is genaamd "Impactanalyse DOT honorariumtarieven, Tariefbeschikking honoraria DOT 2012" en is openbaar in te zien op de website van de NZa. De beoordelingen van de conceptrapportage deel 1 en conceptrapportage deel 2 zijn door Statisticor behoorlijk negatief geweest, met name met betrekking tot de relatie tussen analyses en doelstellingen, de keuze van de analyses en de niet-gefundeerde conclusies. Dit heeft de tweede plaats opgeleverd in de rubriek 'statistische blunders'. Hoewel de kritiek duidelijk beargumenteerd was en de rapportage nog het predicaat 'concept' droeg, is er met de kritiek van Statisticor niets gedaan in de eindrapportage. De reden was dat dat station al gepasseerd was bij de onderhandelingen over honorariumtarieven. Er moest alleen een audit plaatsvinden op het proces, maar foute conclusies uit verkeerde analyses mochten niet meer aangepast worden. Hieronder volgt een korte samenvatting van de kritiek, die eenieder met het rapport ernaast, kan verifiëren.

Verkeerde analyses bij doelstellingen

Uit de doelstellingen 2 en 3 in par. 3 komt naar voren dat het erom gaat de spreiding in omzet per fte in beeld te brengen, zowel op zorginstellingsniveau als op het niveau van specialismen. De geformuleerde doelstellingen komen niet overeen met hetgeen aan analyses (plaatjes) wordt uitgevoerd. Zo zijn een spreidingsdiagram en Lorenzcurve niet relevant en wordt een nadere niet genoemde detaillering naar praktijkgroep eveneens uitgevoerd.

Een spreidingsdiagram zoals Figuur 2 is bedoeld om de relatie te onderzoeken tussen omzet en fte en niet om de spreiding in omzet per fte te analyseren. Het werkt slechts verstorend, mede omdat de toelichting die erbij staat wel over spreiding gaat, maar de spreiding rondom de regressielijn wordt bedoeld. Als uit te voeren analyse, zoals verwoord in par. 4.2, voegt deze niet veel toe. Bovendien is op een aantal punten de beschrijving niet adequaat.

De andere methode, de Lorenzcurve, beantwoordt eveneens niet aan de doelstelling. Juist toegepast op instellingsniveau (op de y-as cumulatieve omzet in % en op x-as cumulatieve fte's in % en ziekenhuizen gesorteerd op omzet) zou hier een nagenoeg rechte lijn resulteren. Het gaat echter om omzet per fte, een grootheid die cumulatief over de ziekenhuizen geen goede interpretatie heeft. De toeliching bij de grafiek in par. 4.2 is onjuist en beide assen van al deze figuren zijn verkeerd benoemd (zie bijv. Figuur 6). Op de y-as staan namelijk cumulatieve fracties omzetten per fte (die geen goede interpretatie hebben) en op de x-as staan cumulatieve fracties zorginstellingen. In het rapport is deze curve gebruikt om de verwachte DOT-omzet per fte met de KPMG-omzet per fte te vergelijken. Deze vegelijking (die ook in de doelstellingen zou kunnen worden toegevoegd) kan echter beter via andere statistische methoden worden gemaakt.

Verkeerde conclusies uit histogram

De derde methode die is gebruikt, het histogram, sluit wel direct aan bij de doelstellingen, maar hieruit worden echter verkeerde conclusies getrokken. In par. 4.2 van het conceptrapport staat letterlijk: "Als de verdeling van de omzetten per FTE specialist een sterke gelijkenis vertoont met de normale verdeling, dan houdt dit in dat de mate en aard van de spreiding beperkt en verklaarbaar is." Dat is volkomen onjuist. Hoewel dit in de eindrapportage van de desbetreffende paragraaf is veranderd in "..., dan houdt dit in dat er zich geen structurele vertekeningen in de honorariumtarieven voordoen.", slaat dit nog volkomen de plank mis. In de eindconclusie van het eindrapport staat namelijk wederom "Doordat de verdeling van de omzet een sterke gelijkenis vertoont met de normale verdeling, wordt de mate en aard van de omzetspreiding als beperkt en verklaarbaar beoordeeld.". Aangezien deze conclusie in het rapport CT 11-34 is overgenomen en als belangrijkste conclusie naar voren wordt gebracht, is dat een ernstige fout.

Verkeerd gebruik van standaarddeviatie

De keuze om de standaarddeviatie te gebruiken voor nader onderzoek naar een aantal instellingen heeft tot gevolg dat een verandering van bijv. 13% bij de vrijgevestigde specialisten wél en bij de specialisten in dienstverband niet als bijzonder wordt gezien. De vraag is of dat wenselijk is. De standaarddeviatie is gevoelig voor scheve verdelingen.

Rapport 2013

Het is triest te zien dat vergelijkbare fouten in het eindrapport van 2013 zijn gemaakt.

⇦ vorige volgende⇨

privacy

disclaimer