Auteurs: Theo van der Linden en Richard Lennartz
Op 16 juni gaven Richard Lennartz (MinBZK/HIS) en Theo van der Linden (VdLC) op het PIANOo-congres een presentatie over het boek RUIS van nobelprijswinnaar Daniel Kahneman. Kahneman werkt op het snijvlak van psychologie en economie: dat is ook het snijvlak van belangrijke elementen van aanbestedingen. Lennartz en Vander Linden zijn ervan overtuigd dat de ideeën van Kahneman grote invloed gaan hebben op de wijze waarop beoordelingscommissies tot hun oordeel komen. Deze zomer plaatsen ze hierover elke week op aanbestedingscafe een artikel. Dit is het derde uit die reeks.
In zijn boek gaat Kahneman uitgebreid in op de kwaliteit van beoordelaars. Het zal geen verrassing zijn dat ook hij vindt dat hoe deskundiger de beoordelaars zijn, hoe beter het eindoordeel zal zijn. Bij zeer vakkundige beoordelaars is er sprake van minder ruis en ook van minder bias. Maar Kahneman is kritisch over het vaststellen van die kwaliteit. De superioriteit van de echte experts ten opzichte van anderen is in zijn ogen alleen verifieerbaar als we de beschikbaarheid hebben over de uitkomst van hun oordelen/voorspellingen. Maar daar ontbreekt het vaak aan.
In zijn boek werkt Kahneman twee voorbeelden heel uitgebreid uit. Een heel zakelijk voorbeeld is het vaststellen van verzekeringspremies, iets waarbij je zou vermoeden dat de experts redelijk dicht bij elkaar zouden eindigen, wat in de praktijk echter niet zo is. Het tweede voorbeeld is het bepalen van de strafmaat door rechters. Kahneman erkent dat de rol van een rechter juist is om een oordeel te nuanceren. Als er iemand doodgereden wordt, dan maakt het voor de strafmaat uit of het door een dronken chauffeur met diverse waarschuwingen gebeurt, of door een man die met zijn hoogzwangere vrouw op weg naar het ziekenhuis is. Maar het vergrijp blijft hetzelfde, en het vonnis zou binnen bepaalde marges moeten blijven. De uitkomsten die Kahneman echter vond door vonnissen te vergelijken gaan echter veel verder dan dat. Hij schrijft:
“In een groot onderzoek uit 1981 kregen 208 federale rechters allemaal dezelfde zestien hypothetische zaken voorgelegd. De bevindingen waren schokkend. In slechts drie van de zestien zaken was er unanimiteit wat betreft het opleggen van een gevangenisstraf. Zelfs als de meest rechters het erover eens waren dat een gevangenisstraf gepast was, was er grote variatie in de duur daarvan. In een fraudezaak met als gemiddelde straf van 8,5 jaar was de zwaarste straf levenslang. In een ander geval was de gemiddelde straf 1,1 jaar, maar de zwaarste 15 jaar.”
In feite is wat een beoordelingscommissie bij een aanbesteding doet, het voorspellen van de beste aanpak. De experts lezen vijf plannen van aanpak en proberen te voorspellen welk plan van aanpak in de praktijk het beste zal werken. Met de inzichten van Kahneman moeten we hier grote vraagtekens bij zetten.
Op de eerste plaats betwijfelt Kahneman de haalbaarheid van perfecte voorspellingen. Hij noemt dat de ‘ontkenning van onwetendheid’. Het probleem is volgens hem dat mensen geloven in de voorspelbaarheid van gebeurtenissen die in feite onvoorspelbaar zijn, waarmee ze impliciet ontkennen dat er een grens is aan wat je kunt voorzien. Als je naar moderne aanbestedingen kijktdan is het op zijn plaats om vraagtekens te zetten bij gunningscriteria als ‘flexibiliteit’ en ‘samenwerking’. Dit zijn zulke veelomvattende en feitelijk vage begrippen dat je jezelf de vraag moet stellen of een tekstje in een plan van aanpak überhaupt wel een indicatie is van hoe de komende samenwerking gaat verlopen of hoe flexibel de opdrachtnemer zal blijken te zijn. Dat neemt niet weg dat je een goede samenwerking en een flexibele werkhouding gedurende de uitvoering wel kunt belonen met bijvoorbeeld een bonus- of malussysteem, maar als gunningscriterium bij de aanbesteding hoort het niet thuis.
Op de tweede plaats stelt Kahneman dat je je steeds moet afvragen hoe deskundig de experts in werkelijkheid zijn. Als het om eenvoudige of meetbare taken gaat is het gemakkelijk om vast te stellen of een aanpak succesvol was of niet: de WC is gerepareerd, er is een bepaald bedrag aan omzet gehaald, er zijn 100 facturen verstuurd etc. Bij aanbestedingen die wat ingewikkelder zijn, is het veel moeilijker om toekomstig succes vast te stellen. Er kunnen vaak tientallen redenen zijn waarom een leverdatum niet gehaald wordt of waarom er toch meerkosten zijn. Het menselijk brein is volgens Kahneman over het algemeen niet goed in staat grote aantallen factoren ook nog eens in onderlinge samenhang goed te beoordelen. Er zijn volgens Kahneman beoordelaars die dat wel goed kunnen. De deskundigheid van beoordelaars is volgens Kahneman te meten, maar dat is niet eenvoudig en vereist analyses over een langere termijn. Beoordelaars bij een aanbesteding worden eigenlijk nooit onderworpen aan een evaluatie van de juistheid van hun oordeel. Dat zou, op lange termijn wel een indicatie van hun deskundigheid geven. Het vertrouwen dat we nu hebben in bepaalde experts is meestal gebaseerd op het respect dat ze onder hun collega’s genieten. Kahneman noemt dat respect-experts. Training, ervaring en (zelf)vertrouwen zorgen ervoor dat respect-experts geloof in hun inzicht weten af te dwingen. Maar zegt Kahneman, deze zaken vormen geen garantie voor de kwaliteit van hun oordelen. Hij gaat hier heel erg ver in. Hij zegt:
“Zijn we nagegaan of de experts die wij vertrouwen het beter doen dan pijltjesgooiende chimpansees?”
Dit is het eerste artikel uit de reeks naar aanleiding van het boek ‘Ruis’ van nobelprijswinnaar Daniel Kahneman.
Feiten en Visie: een verhalende mix 