Risicotransparantie in de it-investeringsportefeuille -- Een econometrische verkenning binnen ING

PDF Versie

Economische rationaliteit van it-projecten is moeilijk
aan te tonen, zelfs als een project hoge strategische
waarde heeft. Om investeringen te kunnen verantwoorden,
beoordeelt ING continu de waardecreatie in it-projecten.
Op basis van projecten uit 2002 onderzochten de
auteurs de kans op budgetoverschrijding.

Jaarlijks worden in de publieke en private sector
wereldwijd miljarden euro's aan informatietechnologie
besteed. Een belangrijk deel daarvan wordt geinvesteerd
in it-infrastructuur en veranderprojecten. Niet met
al deze projecten gaat het even goed. Wat complexiteit
betreft zijn omvangrijke it-gerelateerde
bedrijfsinvesteringen goed vergelijkbaar met de
grote infrastructuurprojecten van de Rijksoverheid.
Terwijl de Commissie Infrastructuurprojecten een
hanteerbaar kader ontwikkelt voor verbetering van
besluitvorming en controle op de uitvoering van
grote infrastructuurprojecten, is de parlementaire
discussie over de Betuwelijn volop in de publiciteit.
Dit project lijkt te worden gekenmerkt door de
combinatie van een hoge strategische waarde voor de
Nederlandse overheid (integratie Europese
railinfrastructuur) en het ontbreken van aantoonbare
economische rationaliteit. Het Ministerie van
Financien is hier in de kritieke beginfase nauwelijks
bij betrokken geweest. De businesscase verwijst naar
baten die niet aanwezig zijn. De eerste in 1990
geraamde 1,1 miljard euro aan projectkosten wordt
meer dan vier maal overschreden.

In het licht van uitgebleven private financiering
heeft het project de Nederlandse belastingbetaler
reeds acht keer zoveel gekost. Een noodrem blijkt
niet te zijn ingebouwd, waardoor voortschrijdend
inzicht geen rol kan spelen in de besluitvorming
over het project. Stoppen, absorptie van niet meer
te beinvloeden sunk cost (zonde van het geld) en
het voorkomen van verdere kapitaalvernietiging zijn
geen afwegingen geweest voor de beleidsmakers. De
prognose is dat de exploitatie van de Betuwelijn
ten minste tien tot twintig jaar verliesgevend zal
zijn.

Ervan uitgaand dat dit mediabeeld (Van Eijck & Parna,
2003) over het Betuweproject accuraat is, willen
veel ondernemingen graag voorkomen dat ook hun
achtertuin wordt overwoekerd door interne Betuwe-lijnen
of andere projecten die negatief scoren op solution
delivery performance (budget, tijd en functionaliteit)
en financieel projectrendement.

It performance & investment management

Sinds 1999 zet ING zich in voor een solide intern
controleraamwerk, waarmee de it-investeringsportefeuille
actief wordt aangestuurd op risico en rendement. De
door ING ontwikkelde IT Dashboard (Rinnooy Kan,
2004) omvat een integrale benadering waarbij
it-relevante informatie centraal wordt verzameld,
gerelateerd aan operationele en financiele kengetallen
(van ING en de peergroep) en op periodieke basis
wordt gerapporteerd aan de hoogste bestuursorganen
van de onderneming. De groepsstafafdeling IT
Performance and Investment Management (ITPM) maakt
deel uit van Corporate IT van ING Groep en bestaat
uit een multidisciplinair team van analisten met
een financiele, actuariele, econometrische en
technologische achtergrond. Deze afdeling is
verantwoordelijk voor een onafhankelijke beoordeling
van de bijdrage van it aan het ondernemingsgewijze
proces van waardecreatie dat wordt uitgedrukt door
total shareholder return (Zie ING-IBM studie in:
Spangenberg & Pieroni, 2003). Om de RvB-besluitvorming
te ondersteunen met zoveel mogelijke onpartijdige
inzichten, maakt ITPM bij voorkeur gebruik van facts
& figures over it en de business, en van kwantitatieve
technieken. Consistent met deze analytische benadering
deed Joeri van Hoeve, onder begeleiding van Steven
Raekelboom, Rob Peters en John Spangenberg een
afstudeerstage Bedrijfswiskunde en Informatica (BWI)
bij ING, onder auspicien van de Vrije Universiteit
Amsterdam (Vua).

Kwantitatieve risicobepaling

Een onderdeel van de it & finance-portfolioanalyse
binnen ITPM is het ontwikkelen en toepassen van
risicometrieken op individuele it-projecten.
It-projecten worden binnen ITPM gedefinieerd als
it-gerelateerde bedrijfsinvesteringen waarbij ten
minste 25% van het budget aan it wordt gespendeerd.
Vanuit bestuurlijk oogpunt heeft het de voorkeur om
het projectrisico zo objectief mogelijk vast te
stellen. Self-ratings kunnen aanvullend nuttig zijn,
maar dienen met omzichtigheid te worden gehanteerd---vooral
als deze worden verstrekt door de projectleiding,
die een gevestigd belang kan hebben bij onderrapportage
van de feitelijke risico-intensiteit.

Een kwantitatieve maat voor de omvang van een
softwareproject is het aantal functiepunten. Onder
meer het aantal invoer- en uitvoerfuncties en
interfaces bepaalt hoeveel functiepunten een project
telt. Functiepunten zijn essentieel als input in
objectieve kostenschattings- en controletools (Putnam
& Myers, 2003). De faalkans van softwareprojecten
is bovendien positief gecorreleerd met het aantal
functiepunten; hoe groter de projectomvang, des te
groter de faalkans. Deze
relatie is op basis van industriebenchmarks vervolgens
in een eenvoudige wiskundige formule uit te drukken
(Verhoef, 2002).

Het stageonderzoek richtte zich op het voorspellen
van risico's van it-projecten. Kunnen we door gebruik
te maken van de beschikbare projectgegevens op een
kwantitatieve wijze vaststellen welke projectkenmerken
invloed hebben op falen van projecten en kan dit
inzicht binnen een early warning system worden
ingezet?

Hoogwaardige projectinformatie

De elegante wereld van de discounted-cashflow-analyse
en de weerbarstige it-investeringspraktijk sluiten
niet naadloos op elkaar aan. Om projectrendement te
meten zijn gegevens over kosten en baten van het
project vereist. Niet alle projecten hebben directe
financiele opbrengsten (denk aan de invoering van
Sarbanes Oxley-wetgeving voor bedrijven met een
beursnotering in de VS, of de invoering van de IFRS
- International Financial Reporting Standards). Wij
beperken ons in dit onderzoek tot het bepalen van
projectrisico's die het uiteindelijke rendement
kunnen beinvloeden. Voor een kwantitatieve analyse
van deze risico's zijn objectief meetbare gegevens
nodig. Het stageonderzoek richt zich op het bouwen
van tools die vooral controle op de kostenkant van
projecten mogelijk maken. Projectinformatie over
plannings- en realisatiecijfers van projecten bleek
beschikbaar. Met deze informatie is het mogelijk
een objectieve maat voor projectrisico te definieren,
namelijk of er sprake is van budgetoverschrijding
(budgetrisico) en zo ja in welke mate. De gegevens
stellen ons ook in staat om vast te stellen of er
sprake is van tijdoverschrijding of onvoldoende
opgeleverde functionaliteit. De invloed van deze
beide risico's op de kostenkant van een project is
daarentegen niet met de beschikbare data eenduidig
te kwantificeren.

Elke ING business unit (bu) levert als onderdeel
van de jaarlijkse middellangetermijnplanning (mtp)
it-gerelateerde gegevens op. We onderscheiden hierbij
algemene it-kosten en stafgegevens, en kenmerken
van individuele lopende en afgeronde it-projecten.
In grote lijnen kunnen de projectkenmerken opgesplitst
worden in drie categorieen. Enerzijds zijn er de op
korte termijn beinvloedbare projectkenmerken. Een
te groot project kan opgesplitst worden in deelprojecten.
De kwaliteit van het projectmanagement kan aangepast
worden aan de moeilijkheidsgraad van het project,
enzovoorts. Het CMM-niveau en de grootte van een
it-ontwikkelingsafdeling zijn eigen aan de organisatie.
Deze kenmerken zijn alleen op de lange termijn
bei"nvloedbaar. Ten slotte zijn er ook niet te
bei"nvloeden kenmerken met een mogelijke impact op
het projectrisico, bijvoorbeeld de projectcategorie
- infrastructuur, besluitvormingsondersteunend,
strategisch of kostenbesparend (Weil & Broadbent,
1998). Deze studie richt zich voornamelijk op het
effect van beinvloedbare projectkenmerken op een
risicocategorie, namelijk het budgetrisico.  De
steekproef bestaat uit 165 projecten die rond 2002
binnen de onderneming werden uitgevoerd en reeds
lang zijn afgerond.

Bij de verzameling van projectinformatie is het van
belang dat de kwaliteit van de informatie (volledigheid,
integriteit, tijdigheid) zoveel mogelijk worden
gewaarborgd. Daartoe is binnen het mtp-proces een
ao/ic-systeem - voor de administratieve organisatie
en interne controle - van Checks en Balances ontwikkeld
en worden alleen projectdata ingevoerd die aan de
kwaliteitsvereisten voldoen.

Kwantificeren

In de studie is gebruikgemaakt van logistische
regressie om per project de kans op budgetoverschrijding
te voorspellen. Deze techniek wordt inmiddels in de
meest uiteenlopende disciplines toegepast. Voorbeelden
waarbij deze techniek goede resultaten boekt, zijn
fraudedetectie bij een verzekeraar of het onderzoek
naar sterftekansen binnen de medische wetenschap.
Verder is een belangrijk kenmerk van het logistische
voorspellingsmodel dat de kans op budgetoverschrijding
wordt bepaald op basis van een inzichtelijke formule
van invloedrijke projectkenmerken. Het voorspellingsmodel
wordt gemaakt door kenmerken van projecten met en
zonder budgetoverschrijding te analyseren.  Het
model legt dan eenduidige verbanden tussen de
projectkenmerken en het al dan niet risicovol zijn
van het project. Dergelijke risicomodellering is op
twee belangrijke manieren toepasbaar. In de eerste
plaats gebruiken we het model om het budgetrisico
te voorspellen, om deze vervolgens te gebruiken om
de risicovolle projecten in een portfolio te
detecteren. Het model beschrijft bovendien de mate
van invloed van de projectkenmerken op het risico;
dit laatste stelt ons in staat om het risico te
verklaren, en geeft ook een indicatie van preventieve
maatregelen om toekomstige projectrisico's te
beheersen.

Early warning system

Gezond verstand zegt dat managementaandacht zich
moet concentreren op de grote, missiekritische en
veelal risicovolle projecten. Hierbij wordt vaak
uit het oog verloren dat vele kleine projecten
gezamenlijk een grote som geld kunnen vertegenwoordigen.
Ook projecten die "onder de radar vliegen" moeten
met voor- en nacalculatiemeting onder controle worden
gebracht. Voor het management is een tool die de
meest risicovolle projecten uit deze groep filtert
een nuttig hulpmiddel. Voor elk project berekent
het voorspellingsmodel de kans dat zich een
budgetoverschrijding voordoet.

Het management is door deze methodiek in staat hoofd-
en bijzaken van elkaar te onderscheiden en zich te
concentreren op die projecten (groot dan wel klein)
waarvan de kans op budgetoverschrijding een kritische
drempel overschrijdt. Figuur 2 (zie PDF) brengt via
de zogenaamde lift grafiek de predictieve efficientie
van het model in kaart.  Dit is een voorbeeld van
het model toegepast op 165 projecten waarvan ongeveer
een derde een budgetrisico had. Op de horizontale
as zijn de projecten geordend volgens afnemende kans
op budgetoverschrijding. Als men steekproefsgewijs
bijvoorbeeld 25% van de projecten zou controleren
zonder rekening te houden met de ordening naar
risico, zal men gemiddeld ook slechts 25% van de 51
risicovolle projecten detecteren.  Deze relatie
wordt weergegeven door de diagonale lijn in de
grafiek. Als men zich concentreert op de 25% projecten
die volgens het voorspellingsmodel als meest risicovol
werden geclassificeerd, zal men al meer dan de helft
van de risicovolle projecten onder de loep genomen
hebben. Dit betekent een efficientieverdubbeling
(efficientielift). Dit soort early-warningsystemen
stelt het management in staat om meer projecten met
een groot budgetrisico tijdig te laten controleren
door hun it-control-afdeling.

Risicoverhogende elementen

Het model kan al bij het begin van de projectlevenscyclus
(bij de ontwikkeling van de businesscase) worden
toegepast. Zodra het budgetrisico te groot wordt,
kan men de projectkenmerken die hiervan de oorzaak
zijn daar waar mogelijk bijsturen en een project op
die manier uit de gevarenzone halen.  Voor het
bepalen van preventieve maatregelen moet impact van
de projectkenmerken op het risico zorgvuldig worden
geinterpreteerd.  Preventieve maatregelen zijn
vooral vereist bij outsourcing (Verhoef, 2004a).

De resultaten van de logistische regressieanalyse
worden in figuur 3 (zie PDF) beschreven.  Projecten
hebben een groter budgetrisico in bedrijfsonderdelen
die meer investeren in nieuwe it-ontwikkelingen
(grotere DDS).  Dit ligt voor de hand, aangezien
vernieuwende projecten altijd omgeven zijn door meer
onzekerheid.  Zolang de marginale baten de marginale
kosten (inclusief overschrijdingskosten) echter
overtreffen, kan it-innovatie een positieve bijdrage
leveren aan de waardecreatie van de investeringsportfolio.
Ook zien we in het model dat het streven naar een
hoger CMM-niveau zich niet moet beperken tot niveau
2.  In dit geval heeft het project zelfs meer risico
dan op niveau 1.  Dit suggereert dat blijven hangen
op niveau 2 en het niet doorzetten naar het voor de
financiele sector betere niveau 3 averechts kan
werken.  Het geringe aantal projecten uitgevoerd
door een bu op niveau 3 verhindert om harde conclusies
te trekken over de impact hiervan.  We kunnen uit
de logistische formule wel afleiden dat het bereiken
van dit niveau het budgetrisico drastisch verkleint
(gewicht = -7).  Het budgetrisico van een project
neemt ook af als het wordt uitgevoerd in een
bedrijfsonderdeel dat onvoldoende financiele
kengetallen rapporteert over zijn lopende projecten
(RQF).  Het belang van financiele transparantie van
een project wordt hiermee nog eens benadrukt.  Een
verrassende observatie is de risicoverlagende invloed
van de projectomvang (PP).  Dit lijkt in tegenspraak
met de algemene veronderstelling dat de faalkans
juist toeneemt met de projectomvang.  Een verklaring
voor het lage budgetrisico van grote projecten is
dat grote, missiekritische projecten meer
managementaandacht krijgen, waardoor het risico
beter worden beheerst en het resterende risico wordt
verlaagd.

Kleinere projecten vallen onder een minder strikt
toezicht op de uitvoering, waardoor het restrisico
toeneemt en de budgetruimte eerder wordt overschreden.
Het verhogende effect van de grootte van een
bedrijsfonderdeel op het projectrisico hangt hiermee
samen. Een grotere business unit heeft immers
doorgaans meer kleinere projecten, waardoor het
toezicht op de uitvoering per project afneemt.
Overigens wordt de projectportefeuille binnen ING
steeds meer onder een centrale regie geplaatst.

Datadefinities

Samenvattend geeft het predictieve model empirisch
onderbouwde handreikingen aan de projectleiding om
budgetrisico's beter te beheersen. Nader onderzoek
is vereist om het model te valideren en de bruikbaarheid
voor de praktijk vast te stellen. Omdat het onderzoek
gebruik kon maken van redelijk hoogwaardige
projectinformatie, was het mogelijk een voorspellingsmodel
te ontwikkelen dat enerzijds overeenstemt met voor
het management herkenbare risicokenmerken maar
anderzijds ook veel verder gaat in objectieve
risicokwantificering. Het project richtte zich vooral
op het meten van budgetrisico, maar kan uiteraard
ook uitgebreid worden naar tijdrisico's, risico op
functionaliteittekort, het risico van onderschatting
van de totale investering of (optimistische)
overschatting van de opbrengsten en de correlatie
respectievelijk spreiding tussen al deze projectrisico's.
Om een goed beeld te krijgen van het volledige
risicobeeld, is nader onderzoek vereist naar heldere
datadefinities, die de business in staat moet stellen
adequate informatie aan te leveren. Dit laatste
blijft natuurlijk een hoeksteen van hoogstaande
portfolioanalyse en bruikbare aanbevelingen ofwel
value propositions, waarin ook de financiele
implicaties tot in detail zijn verwerkt.

Risicogewogen rendement

Systematische screening van projecten op budgetrisico
met een objectief instrument maakt het mogelijk om
ook op portfolioniveau inzicht te verkrijgen in de
waarde van de geraamde budgetoverschrijding.  Meer
diepgaande analyse kan aantonen welke potentiele
budgetrisico's te vermijden of te beheersen zijn en
welke inherent zijn aan onveranderlijke projectkenmerken.
Indien ook de project-roi beschikbaar is, kan de
invloed van budgetoverschrijding op projectrendement
inzichtelijk worden gemaakt.  Binnen ING worden
projecten steeds meer beoordeeld en aangestuurd op
kosten, baten en risico's.  Door (vooral de) autonome
projecten als mini-profit centers te benaderen,
worden it-investeringen op dezelfde wijze gewaardeerd
als alternatieve aanwendingsmogelijkheden zoals
business development (bijvoorbeeld greenfields voor
verzekeringsproducten), mergers & acquisitions, of
commercieel vastgoed.  Hierbij moeten de fundamentele
verschillen tussen applicatiesoftwareprojecten en
bijvoorbeeld aandelen en obligaties niet uit het
oog worden verloren.  Denk hierbij aan het niet
beschikbaar zijn van historische cijfers voor
it-projecten (waardoor de ss ofwel de standaarddeviatie
van het verwachte projectrendement alleen grofweg
kan worden ingeschat). Twee andere belangrijke
verschillen zijn de beperkte mogelijkheden tot
liquidatie en de extreem lage restwaarde van
it-gerelateerde bedrijfsinvesteringen ten opzichte
van de meer conventionele vermogensobjecten zoals
aandelen, obligaties, cash en goud.

Joeri van Hoeve, Steven Raekelboom, Rob Peters en John Spangenberg

Meer weten over de wondere wereld van ICT 
in Jip en Janneke taal? Ga dan naar de
knipselkrant van Chris Verhoef

J. van Hoeve,  S. Raekelboom en  J.F.A. Spangenberg
zijn Junior Analist, Senior Analist en Managing
Director bij ITPM - ING Groep. Email:
joeri.van.hoeve@mail.ing.nl, steven. raekelboom@mail.ing.nl
en john.spangenberg@mail.ing.nl.

R.J. Peters werkte tot 2002 bij ITPM als Senior
Associate en was als stagebegeleider vanuit de
Information Management and Software Engineering
(IMSE) sectie van de Vrije Universiteit Amsterdam
(Vua) betrokken bij het afstudeeronderzoek. E-mail:
rjpeters@cs.vu.nl.

Literatuur

Cessie, J. Le (1991). Using logistic regression in
perinatal epidemiology. In: Paediatric and Perinatal
Epidemiology, 4, pp. 234-249.

Curley, M. (2004).  Managing Information Technology
for Business Value (pp. 138). Hillsboro: Intel Press.

Eijk, D. van & G. Parna (2003). Betuwelijn valt
achtmaal duurder uit. In: NRC Handelsblad (14 Juni).

Gartner (2003). IT Governance at ING. In: Effective
IT Governance By Design, pp. 42-45.

Hoeve, J. van (2004). Master Thesis Bedrijfswiskunde
& Informatica:  Risk assessment of IT enabled Business
Investments.  Afdeling Informatica, Vrije Universiteit,
Amsterdam.

Putnam, L. & W. Myers (2003). Five core metrics:
the intelligence behind sucessful software management.
New York: Dorset House.

Rinnooy Kan, A.H.G. (2004). IT Governance and
Corporate Governance at ING. In: Information Systems
Control Journal, vol 2, pp. 26-31.

Spangenberg, J.F.A. & W. Pieroni (2003). IT Investment
and Shareholder Return. In: ING Shareholder's
bulletin, No. 2, vol 12, pp. 23-25. (zie sectie
Investor relations op www.inggroup. com)

The Banker (2003). Technology awards: Best use of
IT in Retail Banking. (zie sectie Technologie awards
op www. thebanker.com)

Velde, B. van der, J.M. Cuypers, R. Waal & S. Jacobs
(2004).  Succesvol veranderen bij financiele
dienstverleners. (zie onder meer het interview met
H. Duyster over het ING Europa-beleid met betrekking
tot changemanagementprojecten). Utrecht: Uitgeverij
Lemma BV.

Verhoef, C. (2002). Quantitative IT portfolio
management.  In: Science of Computer Programming,
45 (1), pp.1-96.

Verhoef, C. (2004a). Quantitative Aspects of
Outsourcing Deals. Science of Computer Programming
(in press). Beschikbaar via: www.cs.vu.nl/~x/out/out.pdf

Verhoef, C. (2004b). Quantifying the Value of
IT-Investments. Science of Computer Programming (in
press). Beschikbaar via: www.cs.vu.nl/~x/val/val.pdf

Verhoef, C. (2004c). Quantifying the Effects of
IT-Governance Rules.  Working paper. Beschikbaar
via: www.cs.vu.nl/~x/gov/gov.pdf

Weill, P. & J.W. Ross (2004). IT Governance. Boston:
Harvard Business School Press. Weil, P. & M. Broadbent
(1998). Leveraging the new infrastructure.  Boston:
Harvard Business School Press.

Samenvatting

Projecten van bedrijfsonderdelen die meer in
vernieuwende it-ontwikkelingen investeren, lopen
een grotere kans hun budget te overschrijden. Verder
kan een organisatie die CMM-niveau 2 heeft bereikt,
beter verder streven naar niveau 3. Projecten die
op CMM-niveau 2 zitten, blijken meer budgetrisico
te lopen dan projecten op CMM-niveau 1. Een verrassende
uitkomst was de risicoverlagende invloed van
projectomvang.