Is slagen ook echt geslaagd?

We kennen zo langzamerhand de Standish cijfers
wel: 20% van de projecten slaagt, 30% wordt
gecanceled, en 50% van de projecten meer tijd en
geld kost en minder oplevert dan oorspronkelijk
beloofd.  Die cijfers zijn gebaseerd op
honderduizenden projecten.  Dus het
slagingspercentage is behoorlijk laag.  Standish
definieert slagen als completed on time, and on
budget, with all features and functions
originally specified.  Dus je slaagt als je de
bovengrenzen van tijd en kosten en de ondergrens
van de functionaliteit op eerste verzoek kunt
voorspellen.  Je geeft een budget af, blijf je
daaronder?  Prima.  Kom je niet over je
projectduur heen?  OK!  En dan het eisenpakket:
gaat dat in ieder geval lukken?  Ja?  Dan, bent U
geslaagd!

Sinds 1994 toen het eerste Standish rapport
uitkwam, zijn velen zich rotgeschrokken en dat is
tot in de burelen van de top doorgedrongen.  De
IT-verantwoordelijken werden ontboden, en men
wilde weten of ook in hun organisatie de
slagingspercentages zo enorm laag waren.  Sommige
organisaties gingen zelfs sturen op deze Standish
KPIs: had je een hogere slagingskans, dan was je
beter.  Dat is in principe ook een goed idee; je
wilt immers dat projecten slagen.  De vraag is
alleen of dat met de KPIs van Standish moet.  Een
voorbeeld.  Nooit te weinig budget aanvragen,
altijd ruim de tijd nemen en niets beloven.
Zolang je je aan dat recept houdt, zal je eerste
voorspelling altijd gunstig uitvallen voor
Standish.

Dat effect zien we ook in hun
vervolgonderzoeken:  de budgetoverschrijding is
substantieel gedaald van bijna 200% naar 50%.
Standish concludeert: "the timeline  of The
Standish Group's seven years of CHAOS research
shows decided improvement in IT project
management.  This year project success rates,
while modest, are up again across the board".
Maar ik kan dat dus ook anders bereiken.  Nu is
de vraag, is het echt verbeterd met dat project
management, of geven de projectleiders gewoon
schattingen af die hun bonus zeker stelt?

Daarover staat niets in de publieke stukken van
Standish.  Trouwens daarover vind je zowiezo
vrijwel geen literatuur.  Bij sommige
organisaties houdt men inderdaad
slagingspercentages bij, en die kunnen heel hoog
zijn.  Zo verbaasde ik me bij een club al jaren
over scores in de orde van 80% binnen budget.
Wat was het geheim van zulke hoge
slagingskansen?  Namelijk uit het verloop van
projecten bleek niet dat men bijzonder goede
dingen deed.  Wat bleek?  De transparantie van
hun data was uiterst slecht, en de kwaliteit van
de schattingen ook.  De forecasts waren
geoptimaliseerd naar de Standish KPIs.  In een
extreem geval was er sprake van een schatting die
een factor 50 boven de uiteindelijke waarde lag.
In dat licht bezien was het een wonder dat er er
nog 20% van de projecten over budget was.

De transparantie kun je onderzoeken door te
kijken of het voorspellingsgehalte van een
schatting hoger wordt naarmate het project
vordert.  Idealiter geef je een schatting aan het
management zodat zij daarop kunnen sturen.
Men is gebaat bij zo snel mogelijk zo goed
mogelijk.  Als je meer van een project weet, kun
je een betere schatting maken.  Als je al een
tijdje onderweg bent, weet je al hoe lang je
bezig was, wat je al hebt gedaan, en dat geeft
weer informatie over hoe het verder zal gaan.
Bij deze club was het omgekeerd: de schattingen
werden steeds slechter naarmate men vorderde.

De kwaliteit van een schatting kun je bepalen
door op een bepaalde manier het verschil te meten
tussen de verschillende schattingen en de
feitelijke waarde.  Je deelt de feitelijke waarde
door het verschil van de feitelijke waarde minus
de schatting, en dat over de tijd.  Dat klinkt
moeilijk maar het doet je wat je wilt.  Als je
veel te veel schat, wordt je schatting
groot ten opzichte van de feitelijke waarde, dus
de ratio wordt dan laag.  Immers het verschil
tussen de feitelijke waarde en schatting is dan
bijna de schatting wat een laag getal oplevert
bij deling.  Als je veel te weinig schat ten
opzichte van de feitelijke waarde wordt die
ratio wederom laag.  Immers het verschil tussen
de kleine schatting en de feitelijke waarde wordt
dan bijna de feitelijke waarde, en door te delen
kom je dan uit op een getal in de buurt van 1.

Als je daarentegen vrijwel de feitelijk waarde
schat, dan is het verschil tussen forecast en
actual klein.  En  een klein getal in de noemer
geeft een groot getal na deling.  Dus naarmate
die ratio hoger wordt, is de kwaliteit van
schatten ook hoger.  Als je mensen afrekent op
transparantie en kwaliteit van schatten, dan win
je alleen maar: je kunt er dan vanuit gaan dat je
stuurt op zo goed mogelijke voorspellingen, niet
op wat men wil horen, want dat geeft geen bonus.
Bovendien kun je dan tenminste echt vaststellen
hoe het gesteld is met de plan-accuracy van
projecten.  Transparantie en kwaliteit zijn
lastiger te begrijpen maar hebben het voordeel
dat ze doen wat je werkelijk wilt; de Standish
KPIs zijn heel simpel met het nadeel van opake
transparantie en bedenkelijke kwaliteit.

Maar die transparantie en kwaliteit zijn geen
KPIs die een project sucesvol maken.  Als een
investering volgens planning opgeleverd wordt,
zegt dat niets over het rendement.  Ik zou dus
een project geslaagd noemen als het rendement
daar aanleiding toe geeft.

X

Meer weten over de wondere wereld van ICT
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

Prof. dr Chris Verhoef is hoogleraar informatica
aan de Vrije Universiteit in Amsterdam.  Hij
schrijft regelmatig een column in AG II.  Hij is
te bereiken via email:  x@cs.vu.nl.  Deze tekst is
copyright SDU.  Niets van deze uitgave mag zonder
schriftelijke toestemming van de uitgever worden
overgenomen of worden gepubliceerd.