Rijks-IT: bad practice

PDF Versie

Met een lijst van alle grootschalige ICT-projecten
bij de rijksoverheid komt minister Ter Horst tegemoet
aan de Kamermotie die volgde op de commotie over
vermeende ICT-averij. Het rijk zou jaarlijks miljarden
over de balk gooien. De minister meent nu dat het
allemaal zo een vaart niet loopt. Professor Chris
Verhoef signaleert echter grote risico's.

De lijst met daarin het overzicht van alle grote
ICT-projecten bij het rijk en de stand van zaken
van die projecten leverde mij een trits telefoontjes
op van journalisten, mensen in het veld, en Kamerleden.
Een van die Kamerleden vreesde dat de minister de
lijst als hamerstuk door de Kamer wil loodsen. In
de begeleidende brief schrijft de minister namelijk
geruststellend: "Uit de inventarisatie blijkt echter
ook dat de meeste projecten volgens planning verlopen
of te maken hebben met tussentijdse bijstellingen
binnen de reguliere kaders." Kortom, niets aan de
hand.

De minister maakt echter een klassieke fout.
Tussentijdse bijstellingen ontnemen het zicht op de
werkelijke toename van de kosten. De kosten bij
oplevering moeten niet vergeleken worden met de
laatste bijstelling maar met de begroting van de
oorspronkelijke businesscase.

Go/kill

Als de kosten van de Betuwelijn uitkomen op 4,5
miljard terwijl die bij het go/kill-moment begroot
waren op 800 miljoen euro komt de verantwoordelijk
bewindspersoon niet weg met een verwijzing naar de
laatste bijstelling van 4,2 miljard. Als het gaat
om ICT-projecten echter lijkt de truc van het
bijstellingsrookgordijn wel geoorloofd. Zo werd
bijvoorbeeld in diezelfde periode dat de minister
de lijst naar de Kamer stuurde bekend dat een
computergestuurd dienstenrooster voor gevangenispersoneel
is uitgelopen op een miljoenenstrop. Ooit was dit
systeem begroot op 900.000 gulden, maar nu zeven
jaar later staat de teller al op 9 miljoen euro.
Geen haan die er naar kraait.

Het goede nieuws is dat er nu tenminste een lijst
is. Op die lijst staan 73 grootschalige ICT-projecten
met een geraamde omvang van 5841 miljoen euro,
waarvan 4175 miljoen aan ICT-kosten. Die lijst geeft
al iets meer zicht op de aard van de problemen. Is
het bijvoorbeeld normaal om vier miljard euro aan
ICT uit te geven in minder dan honderd projecten?

Laten we dat eens vergelijken met het bedrijfsleven.
De Rabobank bijvoorbeeld heeft 40 programma's lopen
met daarin meer dan 250 ICT- projecten. De totale
omvang daarvan bedraagt 220 miljoen euro zo werd
duidelijk tijdens een symposium over IT-metrieken.
Als we de bancaire portefeuille van die 40 programma's
opblazen naar het aantal van 73 dat de lijst van de
minister telt, dan kom je op een totale investering
van 220 maal 1,825 = 400 miljoen euro.  Dat is toch
meer dan een factor tien kleiner dan de overheidsporfolio.
Is de Rabobank nu zo bijzonder of de overheid?  Die
vraag kun je beantwoorden door vergelijkingen te
maken met meerdere organisaties.

Ik heb zo'n 6000 projecten in de private sector van
ongeveer honderd bedrijven of significante
bedrijfsonderdelen genomen en een vergelijking
gemaakt van de projectomvang.  In dat 'sample' zitten
geen IT-dienstverleners---zij klussen voor de overheid
dus hun portfolio levert geen vergelijkingsmateriaal
op---en geen MKB omdat ministeries zich alleen met
grote bedrijven laten vergelijken.  Verder is al
naar de overheid toegerekend omdat net als bij de
overheidslijst bij een flink aantal portfolios een
onderdrempel is gehanteerd (cut-off portfolios).
Bij heel grote bedrijven is per bedrijfsonderdeel
alleen naar de top tien investeringen gekeken.

Keutelprojectjes

De totale investering van die 6000 projecten bedraagt
ongeveer 1,7 miljard euro. Dus waar de Nederlandse
overheid 4,2 miljard euro aan 73 projecten besteedt
komen 6000 projecten, met een bias naar grote
projecten, niet verder dan 1,7 miljard.  De
bedrijfsprojecten zijn minutieus uiteengerafeld in
keutelprojectjes, ieder met een eigen pay-off en
beheersbaar bovendien.

 Figuur 1.  histogram van
IT gegevens in de private sector en van
Rijks-IT.

Een en ander wordt nog pregnanter zichtbaar in een
histogram. Het bovenste plaatje illustreert de
gepoolde bedrijfsgegevens van in totaal 5965
IT-projecten, ter waarde van 1704 miljoen euro. Wat
opvalt is dat slechts een zeer klein gedeelte van
de projecten boven de 10 miljoen euro uitkomt.  De
minister legde de ondergrens van haar lijst op 20
miljoen. Bij deze honderd bedrijven is slechts een
project van ongeveer 30 miljoen euro en elf van tien
miljoen of meer. Omdat dat maar een paar promille
van de portefeuille betreft zie je dat niet eens
terug in het histogram.

In het onderste histogram zien we de omvangsverdeling
bij de overheid.  Een minderheid heeft een omvang
van tussen 1 en 10 miljoen euro,  het grootste deel
zit in de orde van 20 miljoen. Ruim 10 procent scoort
in de 100--200 miljoen range.  Uiteraard zitten er
geen kleintjes bij want daar heeft de minister niet
naar gevraagd.  De minister publiceert een zogenaamde
cut-off portfolio: alleen projecten boven een bepaalde
grens.  De kleinste waarneming is het Electronisch
Kind Dossier dat op 14.27 miljoen is geschat met
een ICT-component van 35 procent. Ook deze benjamin
heeft flinke problemen: er zijn voornamelijk rechtzaken
over de aanbesteding geweest dus het is al gefaald
met hoge kosten voordat het uberhaupt begonnen is.
Niets daarover in de lijst van de minister.

Als je bij die 6000 private projecten dezelfde
ondergrens hanteert, houd je slechts 36 projecten
over. Denk dan aan bedrijfsbrede euro-conversie
programma's, massale transactiefabrieken, en andere
grootschalige investeringen. Dus de BZK-lijst lijkt
niet marktconform met haar overdaad aan grootse
investeringen.  Stel even dat hij wel marktconform
is dan zou de lijst van de minister ongeveer zo
verdeeld moeten zijn als de bedrijfsportefeuille.
Als je de private portfolio erop zou passen met
statistische middelen zou dat meer dan 180.000
projecten opleveren met een totale omvang van over
de 50 miljard.  Hoogst onwaarschijnlijk. De conclusie
moet dan ook zijn dat het aantal 'grand designs'
bij de overheid uitermate hoog is vergeleken met
het bedrijfsleven.  De private sector heeft door
schade en schande inmiddels geleerd dat grote
ICT-projecten vaker falen dan slagen, en weet dat
dit een bad practice is.

Tuinbonen

Om meer gedetailleerd inzicht te krijgen in de
overheidsportfolio kijken we naar een zogenaamde
tuinbonenplot. Dat is een plot waar de contour (de
tuinboon) aangeeft wat de kans is op waarnemingen
(de bonen). In de figuur zien we twee van die
tuinbonen:  de kans-contouren zijn lila en de
ICT-projecten zijn de groene verticale streepjes.
Een buitenboons ICT-project heeft dus een lage kans,
en een binnenboons project een hogere.

 Figuur 2.  tuinbonenplot van
IT gegevens in de private sector en van
Rijks-IT.

De bovenste tuinbonenplot representeert de private
sector met 6000 streepjes die elk een project
voorstellen.  De twee dikke zwarte horizontale lijnen
in de tuinbonen staan voor de gemiddelde grootte
van een project.  In het bedrijfsleven is dat 92170
euro.  De tweede tuinboon visualiseert de BZK-lijst.
Omdat die een ondergrens hanteert laat die uitsluitend
grote projecten zien. De gemiddelde omvang is 29.15
miljoen euro. Een omvang die in de 6000 projecten
slechts een keer voorkomt.  Let op: de schaal is
logaritmisch dus de grootte van de programma's neemt
drastisch toe naarmate je iets naar rechts gaat. De
maximale waarneming is 294 miljoen: de IT-component
van P-direkt.

Risico

Nu is de hamvraag: wat is de kans op falen in deze
cut-off portfolio, en wat zijn daarvan de financiele
consequenties?  Met de informatie die de BZK-lijst
ons verschaft kunnen we benchmarks gebruiken waarmee
type en omvang van de software kunnen worden
meegewogen.  Om de omvang van de projecten te bepalen
kun je werken met een gemiddelde prijs per functiepunt,
die toeneemt naarmate de systemen groter worden.
Als je die omvang hebt, kun je weer een faalkans
schatten door faalbenchmarks naar grootte te gebruiken.
Met cijfers van Capers Jones, die de fijnmazigste
publieke benchmarks publiceert (zie kader), kun je
vervolgens een inschatting maken.  Maar daarvoor
zijn nog wat aannames nodig.

We nemen aan dat er twee soorten software zijn: in
eigen huis gemaakte informatiesystemen en
defensiesystemen, oftewel systemen onder militaire
standaard. Voor die beide soorten zijn dus aparte
benchmarks. Verder is niet elk item op de
BZK-lijst een enkel project. Sommige items betreft
programma's waar meerdere projecten onderdeel van
uit maken. Voor welke items dat geldt en hoeveel
projecten dat betreft is niet bekend. En wat het
verlies is bij falen van de ICT is ook onbekend.
Wel heeft de minister gevraagd om die grootschalige
investeringen waarbij 'bouw of verbouw en ingebruikname
van ICT-systemen een belangrijke succesfactor is,
dan wel een overwegend aspect van de werkzaamheden.'
Om daar een gevoel bij te krijgen definieren we drie
scenarios.

* hoog: het grootste ICT-project omvat ook alle
ICT-kosten, en de gehele investering is verloren bij
ICT-falen.

* midden: het grootste ICT-project is 50 procent
van de totale ICT-kosten, en 50 procent van de gehele
investering is verloren bij ICT-falen.

* laag: het grootste ICT-project is 20 procent van
de totale ICT-kosten, en 20 procent van de gehele
investering is verloren bij ICT-falen.

Bijvoorbeeld in scenario 3 neem je aan dat het
grootste ICT-project 20 procent van de totale
ICT-kosten uitmaakt.  Van alleen dat project schat
je dan de faalkans, en die vermenigvuldig je met
de aangenomen impact die 20 procent van de totale
investering bedraagt. Als je dat doet (zie spreadsheet)
voor de gehele portfolio dan komt dan neer op 2.3
miljard euro verwachte faalkosten bij het ruime
scenario, 1.1 miljard bij het middenscenario, en
400 miljoen bij het conservatieve scenario. Naar
mate we meer weten over de omvang van de individuele
projecten en de faalimpact per project, kunnen we de
risico's nauwkeuriger vaststellen.

Samenvattend kunnen we stellen dat de overheid veel
te grote ICT-programma's en -projecten optuigt. Dat
maakt de kans op falen en de daarmee gemoeide kosten
onacceptabel hoog. De overheid zou zijn licht op
moeten steken bij het bedrijfsleven en bijvoorbeeld
de Amerikaanse overheid die eist dat grote projecten
worden opgeknipt in meerdere kleine, te overziene
en op zich staande beheersbare onderdelen die elk
waarde toevoegen.

KADER:

De gehanteerde benchmarkcijfers van Capers Jones zijn
gebaseerd op 3300 IT-projecten van het type 'in
eigen huis gemaakte informatiesystemen' (MIS) en 407
systemen onder militaire standaards (MIL).

Capers Jones beschrijft de relatie tussen functiepunten
(FP) en kosten per functiepunt voor de MIS en MIL sector:
 als volgt:

FP    $/FP MIS  $/FP MIL
100     352,46   1949,84
1000   1035,46   6055,47
10.000 2851,90 16.950,45
(in 1999 US dollar)

Capers Jones komt voor deze industrieen op onderstaande
faalkanspercentages uit:

FP     MIS MIL
1        1  1 
10       1  2 
100      5  6 
1000    17 10 
10.000  39 25 
100.000 48 33 

Bedragen zijn in US-dollars waardedatum 1999. De
omrekenkoers naar euro (waardedatum 1999) bedraagt
1,0658 en de inflatiecorrectie naar 2007 Euros komt
op 1,178206706.  Een en ander is na te pluizen in
een spreadsheet.

X

Meer weten over de wondere wereld van ICT
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

Prof. dr Chris Verhoef is hoogleraar informatica
aan de Vrije Universiteit in Amsterdam.  Hij is
te bereiken via email:  x@cs.vu.nl.  Deze tekst is
copyright NDU.  Niets van deze uitgave mag zonder
schriftelijke toestemming van de uitgever worden
overgenomen of worden gepubliceerd.