Meten corrumpeert

De bouwfraude laat weer eens duidelijk zien dat wanneer
het beslissingscriterium alleen op de prijs gebaseerd
is, je daarmee allerlei ongewenste neveneffecten in gang
zet, en niet noodzakelijk het doel bereikt dat je voor
ogen had.  Namelijk het beste werk, voor de laagste prijs.
Verschillende aannemers hebben opgemerkt dat je juist
door het prijscriterium kwaliteitsverlies krijgt, en ze
elkaar daardoor kapot zouden concurreren.  Dus het meten
van de laagste prijs is kennelijk geen goede metriek,
want die blijkt tot onzuivere metingen te leiden.

In de IT heb je dat ook.  Stel eens dat je een programmeur
afgerekt op het aantal geproduceerde regels code per dag.
Dan is het ineens veel beter om geen procedures, functies,
en include mechanisme's te gebruiken.  Dat reduceert
immers het aantal regels geproduceerde code.  Je krijgt
dus precies waar je om vroeg: een hoge productie aan
regels code per dag.  Ik heb ook wel eens het aantal
regels commentaar als maatstaf gezien.  Daarmee wilde
men degelijk gedocumenteerde code afdwingen.  Wat er in
dat geval gebeurde was dat de hoeveelheid commentaren
schrikbarend toenam maar de kwaliteit van die commentaren
drastisch afnam.  Dit uitte zich in het herhalen van de
code in woorden (IND is een index) tot aan totale onzin
commentaren (XX XXXX XXX X).  Wederom kreeg men precies
waarom was gevraagd: een hoge productie aan commentaren.

Het schatten van de kosten van IT heeft ook zijn interessante
kanten.  Soms "schat" men een heel laag bedrag, om het
ja-woord van de opdrachtgevers te krijgen.  Tegen de tijd
dat die er tot over hun oren inzitten, is er geen weg
meer terug, en kun je met een "prijscorrectie" tot de
echte prijs komen.  Of, als iedereen  moet bezuinigen,
geef je voor de interne projecten gewoon veel te hoge
kosten op.  Als dan blijkt dat je het voor de helft gedaan
hebt, scoor je goed.  Wellicht levert je dit zelfs een
bonus op.

Meten is weten zeggen ze wel eens.  Maar als je dus een
of andere grootheid gaat meten, wil dat nog niet zeggen
dat dat ook de werkelijkheid reflecteert.  En dan trek
je de verkeerde conclusies.  Neem nu eens dit theoretische
voorbeeld.  Stel je hebt een systeem om asielzoekers aan
te melden.  Als in zo'n systeem een ambtenaar 40 onzinnige
schermen moet invullen bij aanmeldingen op Schiphol, en
3 schermen als de asielzoeker zich in Rijsbergen aanmeldt,
dan kun je erop wachten dat sommige operators op Schiphol
onze potentiele nieuwe medeburgers virtueel verwelkomen
vanuit Rijsbergen.  En de IND zou dan de verkeerde
conclusie trekken dat er meer mensen in Rijsbergen nodig
zijn om de niet aflatende stroom  van binnenkomende
asielzoekers te verwerken.  Gelukkig heeft de overheid
dit soort systemen niet---dit was alleen maar een spannend
verhaal.

Maar wat doe je in het algemeen aan dit soort dingen?
Hier is een aardige truuk die een collega eens bedacht.
De crux is dit: je moet niet op de geschatte grootheid
zelf afrekenen, maar je moet meten hoe goed die grootheid
geschat is, en daar op afrekenen.  Met andere woorden,
als je bijvoorbeeld de kosten van een IT-project of twee
keer te hoog of te laag gaat zitten ten opzichte van de
werkelijke waarde dan is de effectiviteit van je meting
ver verwijderd van het getal 1 (dat uitdrukt dat de
geschatte grootheid ook precies de echte waarde was).
Als je afrekent op zo dicht mogelijk bij 1 uitkomen,
heeft niemand er baat bij om (politiek) incorrecte
meetwaarden op te geven.

Hoe werkt dat in de praktijk?  Als een IT-aannemer
verklaard dat het een X-bedrag gaat kosten, en tijdens
en na het bouwen laten beide partijen onafhankelijk
vaststellen hoeveel effort er werkelijk nodig is, kan je
vaststellen wat de werkelijke effort is, en dus de
accuraatheid van de schatting.  Als je van tevoren
afspreekt dat bij afwijkingen naar beneden of naar boven
een korting op het totaal bedrag komt, is de dienstverlener
niet gebaat bij een verkeerde prijsopgaaf:  alleen de
juiste prijsopgaaf geeft de maximale inkomsten.  Vice
versa, als een opdrachtgever meent dat iets een X-bedrag
kost, en bij meting blijkt dat af te wijken in positieve
of negatieve zin, dan betaald de opdrachtgever een toeslag
an de opdrachtnemer.  Dan is ook de opdrachtgever gebaat
bij de juiste prijs: alleen een reeele prijsschatting
leidt tot een minimale uitgave.  Wie durft?

X

Meer weten over de wondere wereld van ICT 
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

Prof. dr Chris Verhoef is hoogleraar informatica 
aan de Vrije Universiteit in Amsterdam.  Hij schrijft      
maandelijks een column in AG II.  Deze tekst is 
copyright SDU.  Niets van deze uitgave mag zonder
schriftelijke toestemming van de uitgever worden
overgenomen of worden gepubliceerd.