De muzikale voorkeur van de muis

Veelal hebben IT-projecten ongewenste gevolgen: ze duren
langer dan gedacht, kosten meer dan geschat, en leveren
minder dan gehoopt.  Ik heb dat ooit eens samengevat in
de 30-50-20 regel: 30% van de IT-projecten wordt na vele
overschrijdingen gecanceled, 50% is 2 keer te duur, 2
keer overtijd en levert maar de helft af (en vaak de
verkeerde), en slechts 20% kan een succes genoemd worden.

Er zijn dus enorme afwijkingen tussen schatting en
werkelijkheid van belangrijke KPIs zoals kosten,
doorlooptijden, functionaliteit.  In termen van
kansverdelingen betekent dit dat de staarten van die
verdelingen dik en lang zijn.  Inderdaad zijn de meeste
KPIs van IT-projecten niet "normaal" verdeeld zoals vele
andere verschijnselen om ons heen zijn dat juist wel,
vandaar de naam.  Normaal betekent zo ongeveer dat 68%
van de gegevens binnen een redelijke spreiding om het
gemiddelde zit, dat 95% van de waarnemingen binnen twee
keer die spreiding zit, en dat 99.7% binnen 3 keer die
spreiding valt.  Dat levert dan zo'n mooie klok-kromme
op.

Bij IT-KPIs is iets heel anders aan de hand.  Daar kun
je zo 25 keer de spreiding van het gemiddelde afzitten.
De kans daarop bij de normale verdeling is te verwaarlozen,
immers de kans dat je er 3 keer afzit is slechts 0.03%.
Daarom voelt menig IT-manager zich wel eens ongemakkelijk
omdat de onzekerheid zo uit de hand kan lopen.  Je kunt
dat ook omdraaien:  er is een grote zekerheid dat er
sterke afwijkingen zullen zijn.  Daar kun je op reageren
met slapeloze nachten maar ik heb een alternatief advies:
accepteer het feit dat je er gigantisch naast kunt zitten,
en gebruik die zekere onzekerheid in je voordeel.

Anderen zijn u voorgegaan!  Neem eens een verzekeraar.
Die heeft vrijwel nooit slapeloze nachten van de soms
zeer hoge uitkeringen aan hun verzekerden.  Sterker,
verzekeraars adverteren daar juist mee:  zo meldt een
Engelse verzekeraar vol trots dat ze in 2003 elke werkdag
gemiddeld 11.9 miljoen pond uitkeerden.  Goed voor de
nachtrust van hun klanten.  Glashelder dat ze aleen zelf
goed slapen als ze volledig in control zijn ondanks de
grote onzekerheden.  En niet door iedereen in bed te
houden zodat er geen ongelukken kunnen gebeuren maar
anders.  De extreme gevallen analyseren, zodat je daarop
de premies kunt afstemmen.  Hoe beter je de extremiteiten
snapt, hoe scherper je kunt aanbieden.

Hetzelfde principe kun je ook toepassen op IT.  We vertalen
de 30-50-20 regel even in termen van extreme waarden.
In 80% van de gevallen zijn de werkelijke kosten en
doorlooptijden dus hoger tot veel hoger dan de schattingen.
Die KPIs gedragen zich derhalve als kansverdelingen met
dikke en lange staarten naar hoge waarden, omdat de kans
erop aanwezig is.  Echter voor de opgeleverde functionaliteit
is het anders: die is in 80% van de gevallen lager tot
heel veel lager dan geschat.  Dus die staart is ook dik,
maar naar lagere waarden.  De staarten gaan dus alle
kanten op.  Als de kat van huis is, dansen de muizen op
tafel.  En de kans is nihil dat ze linedancen.

Van gegevens over kosten, doorlooptijden en functionaliteit
kun je met een statistisch pakket in een oogwenk hun
verdelingen plotten, en zo onmiddellijk visueel maken of
in de organizatie de 30-50-20 situatie van toepassing
is.  Toen ik onlangs een dergelijke exercitie uitvoerde
op honderden IT-projecten bij een grote organizatie,
stonden alle staarten netjes dezelfde kant op.

Dat is een belangrijke constatering als je de IT moet
besturen.  Maar hoe interpreteren we nu zoiets?  Dikke
staarten betekenden immers dikke problemen?  Ja en nee.
Ja als de muizen los gaan op James Brown, en nee bij John
Denver.  Dan heb je ze namelijk op een rijtje door
systematisch 80/20 denken.  Deze verhouding is zo'n
honderd jaar geleden door Pareto ontdekt in de context
van de vital few and trivial many:  20% van de bevolking
bezat 80% van de rijkdom.  Daar is het hele 80/20 denken
uit voortgekomen, en het is tot op de dag van vandaag
een belangrijk management tool.

De wiskunde van Pareto past ook op vele IT-KPIs: dat zijn
namelijk verdelingen met dikke staarten, waarbij het
"normaal" is dat 20% van de waarden extremer is dan de
rest.  Als bij IT-projecten de grote ook de vital few
zijn, dan ben je goed bezig.  Als de kleine de trivial
many zijn, idem.  Dan kun je je op de vital few richten
omdat kleine projecten een veel lager risico profiel
hebben.  Precies dat trof ik ook aan: de kans was het
grootste dat de IT-projecten redelijk klein waren, maar
er waren ook veel extreme waarden omhoog: de vital few.
Als je in control bent heb je dus voor de doorlooptijden
ook een piek rond een bepaalde tijd: om die trivial many
in uit te voeren.  En ook hier representeert de dikke
staart de veel langere doorlooptijden van de vital few.
Idem voor de kosten: een piek rond het bedrag waarvoor
je grosso modo de trivial many scheert, en uitschieters
naar boven om de vital few te bekostigen.

Kortom, met basale IT-KPIs en simpele statistische middelen
weet je meteen of je IT-muizen van disco of country
houden.

X

Meer weten over de wondere wereld van ICT 
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

Prof. dr Chris Verhoef is hoogleraar informatica 
aan de Vrije Universiteit in Amsterdam.  Hij schrijft      
maandelijks een column in AG II.  Deze tekst is 
copyright SDU.  Niets van deze uitgave mag zonder
schriftelijke toestemming van de uitgever worden
overgenomen of worden gepubliceerd.