Standish overschrijdingsstatistieken onbetrouwbaar

In 1994 publiceerde Standish Group een
geruchtmakend rapport met de onheilspellende
titel CHAOS.  Inmiddels is het een serie geworden
die bekend staat onder de naam CHAOS reports.  De
portee van die verhalen is dat 30% van de
IT-projecten faalt, 50% twee keer te duur is,
twee keer te lang duurt en maar de helft van wat
beloofd was levert, en 20% is binnen tijd, budget
en met de gewenste functionaliteit.  Dit
onderzoek wordt zeer vaak geciteerd, inclusief
door ondergetekende.

In discussies met medewetenschappers en het
bedrijfsleven leek het toch lastig om dat
onderzoek herhaalbaar uit te voeren.  De erg lage
slaagpercentages waren hier vooral het probleem.
Niet zozeer de gecancelde projecten overigens.
Ik heb al eens eerder uiteengezet dat de vraag
wat precies een geslaagd project is, niet heel
gemakkelijk te beantwoorden is.  Ben je over tijd
en budget maar levert het project uiteindelijk
een boel geld op dat is meer geslaagd dan een
project dat binnen de kaders blijft op alle KPIs
maar geen nut blijkt te hebben.

Bij een aantal industri"ele partijen was het me
al opgevallen dat de cijfers significant anders
waren dan wat Standish beweert.  De uitdaging was
dus:  verklaar de verschillen.  Na een
uitgebreide analyse van 1741 projecten, ter
waarde van 1059 miljoen Euro met 12187
schattingen voor belangrijke KPIs zoals kosten of
doorlooptijden is gebleken dat de cijfers van
Standish voor project succes en de zogenaamde
challenged projects niet betrouwbaar zijn.

Hoe zit dat?  We hebben van een groot aantal
projecten vastgesteld wat de kwaliteit is van de
schattingen door te meten wat het verschil is
tussen schatting en feitelijke waarde van een KPI
en daarnaast hebben we de systematische
afwijkingen als die er waren in kaart gebracht.
Bij dat laatste moet je denken aan bijvoorbeeld
de salami taktiek: om een project "erdoor" te
krijgen maak je je schatting te laag, en elke
keer wordtie een beetje hoger totdat het point of
no return is gepasseerd en dan kun je
langzamerhand de waarheid gaan vertellen.  Als je
dan de ratio van de schatting en de feitelijke
waarde over de tijd plot dan zie je dat die breuk
vaker kleiner dan een is dan groter dan een.

Daarnaast hebben we de definities van Standish
losgelaten op dezelfde gegevens.  En daar zit
meteen het probleem: de definitie van een
geslaagd project is dat je op eerste schatting
van kosten en doorlooptijd niet hoger uitkomt dan
de feitelijke waarde, en dat de eerste schatting
van de functionaliteit niet lager uitkomt dan de
feitelijke waarde.  Als je goed kijkt betekent
project succes dan ook: ik beloof niets, maar ik
doe daar uitermate lang over en voor heel veel
geld.  De kans is dan heel groot dat je binnen
budget blijft, dat je binnen de tijd blijft en
dat je altijd meer oplevert dan beloofd.  In
Standish termen: een geslaagd project dus.  Maar
wij weten nu beter: dat is een project waar de
schattingskwaliteit slecht is (je zit of veel te
hoog of veel te laag), en waarbij er een
politieke onderstroom in de schattingen zit
doordat je stelselmatig te hoog of te laag
schat.

Als je die definities loslaat op de gegevens die
we geanalyseerd hebben kom je tot de conclusie
dat organizaties die het volgens Standish heel
goed doen, het in werkelijkheid heel slecht doen
wat komt door slechte kwaliteit en politieke
schattingen.  Nu is het zo dat Standish daar niet
voor gecorrigeerd heeft.  En dat nu betekent dat
hun conclusies onbetrouwbaar zijn voor
succesvolle en problematische projecten.  De
categorie gefaalde projecten loopt op grond van
dit onderzoek geen gevaar: er is dan namelijk
niets opgeleverd, althans niet iets dat werkt.
En dat kun je wat gemakkelijker meten dan een
overschrijding waarvan je niet weet of de
initiele schatting al gekleurd was.  Om dezelfde
reden zijn alle andere
overschrijdingsstatistieken die geen rekening
houden met politieke bijsmaak ook onbetrouwbaar.
De meeste van die statistieken hebben de krant
nooit gehaald, in tegenstelling tot de Standish
cijfers.

Uiteraard heben we Standish Group onze
bevindingen gestuurd.  In hun antwoord zeggen ze
dat ze een "opinion based advisory organization"
zijn.  Met andere woorden, hun werk is op
perceptie gebaseerd in plaats van harde data zo
lijkt het.  En over de politieke onderstroom zegt
men dit: "Since we are a neutral party to begin
with---we try to eliminate all bias" aldus de
Chairman van Standish.  Merk op dat dit nergens
op slaat: omdat je neutraal bent probeer je alle
afwijkingen te elimineren.  Proberen?  Als je met
tien PhDs bij de CERN boven een bellenvat staat
te staren en in een volkomen gecontroleerde
omgeving warnemingen doet, dan nog heb je last
van onverklaarbare waarden.  Als je routinematig
data vezameld heb je zo tot 10% aan uitbijters te
pakken.

En de klap op de vuurpijl is dit: "All data and
information in the CHAOS reports and all Standish
reports should be considered Standish opinion and
the reader bears all risk in the use of this
opinion.  Opinions have no bias---they are our
opinions.  You might agree with them, but they
are our opinion." Deze door ons afgedwongen
"disclaimer" heb ik nog nergens in hun CHAOS
rapporten aangetroffen, waarvan acte.

X

Meer weten over de wondere wereld van ICT
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

Prof. dr Chris Verhoef is hoogleraar informatica
aan de Vrije Universiteit in Amsterdam.  Hij
schrijft regelmatig een column in AG II.  Hij is
te bereiken via email:  x@cs.vu.nl.  Deze tekst is
copyright SDU.  Niets van deze uitgave mag zonder
schriftelijke toestemming van de uitgever worden
overgenomen of worden gepubliceerd.