Auteurs: Theo van der Linden en Richard Lennartz (oorspronkelijk gepubliceerd op Aanbestedingscafe.nl)
Op 16 juni gaven Richard Lennartz (MinBZK/HIS) en Theo van der Linden (VdLC) op het PIANOo-congres een presentatie over het boek RUIS van nobelprijswinnaar Daniel Kahneman. Kahneman werkt op het snijvlak van psychologie en economie: dat is ook het snijvlak van belangrijke elementen van aanbestedingen. Lennartz en Vander Linden zijn ervan overtuigd dat de ideeën van Kahneman grote invloed gaan hebben op de wijze waarop beoordelingscommissies tot hun oordeel komen. Deze zomer plaatsen ze hierover elke week op aanbestedingscafe een artikel. Dit is het tweede uit die reeks.
Zonnig weer? Je academische titel is minder waard…
Iedereen heeft last van wat Kahneman gelegenheidsruis noemt. Een onderzoek naar 700.000 huisartsconsulten liet bijvoorbeeld zien dat artsen aan het eind van een lange dag significant vaker opiaten voorschreven. Zelfs het weer heeft een meetbare invloed op professionele beoordelingen.
Uri Simonsson toonde aan dat toelatingsbureaus van universiteiten als het bewolkt is meer gewicht toekennen aan de academische prestaties van een kandidaat, en als de zon schijnt meer aan andere aspecten van zijn of haar CV. De titel van zijn artikel hierover was: ‘Clouds make nerds look good’. Oftewel: toevallige externe factoren bepalen hoe wij beoordelen. En laten de uitkomsten van aanbestedingen nu in hoge mate van beoordelingen af laten hangen….
Simpele oplossing kan uitkomst bieden
Een heel eenvoudige oplossing om dit soort ruis te verminderen is volgens Kahneman door simpelweg meer beoordelaars in te zetten. Hij geeft daar echter gelijk de kanttekening bij, dat dat in veel gevallen gewoonweg te kostbaar zal zijn. In zijn boek geeft hij het voorbeeld van een docent die opstellen van leerlingen uit de derde klas moet nakijken. Als hij dat gewoon alleen zelf doet kunnen er allerlei zaken zijn die het eerlijk beoordelen beïnvloeden (ruzie met zijn echtgenote, zijn nieuwe auto net aangereden, net een prijs gewonnen ect).
Hij kan het proces dus wat zuiverder maken door bijvoorbeeld een collega te vragen de opstellen ook na te kijken. Hij zou de relatief complexe beoordelingstaak kunnen structureren, of de opstellen vaker kunnen lezen en dan in een andere volgorde. Een gedetailleerde scorerichtlijn als checklist zou ook kunnen helpen en hij zou ook elk opstel op hetzelfde tijdstip van de dag kunnen lezen om gelegenheidsruis te vermijden.
Wisdom of the crowd: niet nieuw, nog wel steeds actueel
Het beoordelen met meerdere personen noemt Kahneman ‘the wisdom of the crowd’. Al in 1907 vroeg Francis Galton, een veelzijdig geleerde en een neef van Darwin, 787 bezoekers van een jaarmarkt het gewicht van een grote prijs-os te schatten. Geen van de bezoekers noemde het juiste gewicht, 1198 pond, maar het gemiddelde van de schattingen was 1200 en zat er dus maar 2 pond naast.
Tijdens het live experiment bij het PIANOocongres hebben we dat ook zelf aangetoond. We hadden een pot met 297 Napoleons erin en ruim 150 mensen hebben geschat hoeveel erin zaten. Niemand had het juiste antwoord, maar het gemiddelde van de massa zat er slechts 3 naast.
Wisdom of the crowd werkt uitstekend als je een antwoord in de goede richting zoekt
Kahneman brengt bij wisdom of the crwod een nuance aan. Als het gaat om een complexe zaak met veel verschillende elementen, waarvoor specialistische kennis nodig is, zal een beoordelingscommissie van 100 personen eerder meer dan minder ruis geven. Ook bij zeer complexe zaken werkt besluitvorming in grote groepen eerder polariserend en dus ruisversterkend. Men beweegt mee met een expert en versterkt elkaar in die richting. Of beweegt mee met het openingsbod. Of met een hiërarchisch hoger geplaatst persoon.
Maar… als je een antwoord op een vraag zoekt waarbij het gaat om inschattingen en inzichten, dan heeft de crowd veel wisdom. Het kan dus nut hebben om bij aanbestedingen met meer – lees: veel meer – beoordelaars te werken.
En bij aanbestedingen zoeken we ook vaak dat soort antwoorden
Denk bijvoorbeeld aan de nieuwe kleur voor de aan te schaffen leerlingenvervoerbusjes. Dan is het mogelijk en misschien zelfs wenslijk om de ouders of zelfs de kinderen mee te laten beslissen. Er is geen technische kennis voor nodig om te bepalen welke kleur je het mooist vindt.
En nog vaker voorkomend bij aanbestedingen: het beoordelen van Plannen van Aanpak. Daarbij proberen we dan objectief in te schatten hoe groot de kans is dat een bepaald Plan van Aanpak tot succes leidt. Hierbij gaat het immers om inschattingen en inzichten.
Praktische bezwaren oplossen leidt mogelijk zelfs tot betere aanbestedingen
Een argument tegen ‘the wisdom of the crowd’ bij aanbestedingen zou kunnen zijn dat als 100 beoordelaars kennis nemen van de plannen van aanpak van inschrijvers, er geen sprake meer is van de bescherming van bedrijfsgevoelige informatie. Dit is prima oplosbaar. Je kunt dat bijvoorbeeld oplossen door niet een uitgebreid plan van aanpak te laten schrijven, maar de inschrijvers korte stukjes per onderwerp te laten schrijven die niet herleidbaar zijn tot de inschrijver. Die stukjes zou je dan bijvoorbeeld zelfs met multiple choice vragen door de 100 beoordelaars kunnen laten beoordelen.
De aanbesteding wordt er mogelijk zelfs stukken beter van: je dwingt de aanbieders zich op de kern te richten, en vraagt ze niet om lange lappen proza op te leveren.
Goede balans zoeken zijn we aan onze stand verplicht
Kahneman geeft aan dat er een grens zit aan een investering in ruisreductie. Het lijkt echter vanzelfsprekend om juist bij aanbestedingen, waarbij het gaat om het uitgeven van belastinggeld, te proberen de ruis zo laag mogelijk te houden. Je zou wel kunnen redeneren dat er bij een Europese aanbesteding van € 20.000.000,- meer aan ruisreductie gedaan moet worden dan bij een meervoudig onderhandse aanbesteding voor € 50.000,-.
De impact van beoordelingen van kwaliteit is bij aanbestedingen groot, en nu we steeds minder op prijs inkoper zelfs steeds groter en daarmee vaak zelfs doorslaggevend. We zijn het aan onze stand verplicht om goed na te denken of we méér moeten doen om uitkomsten minder/niet van toevalligheden af te laten hangen.
Clouds make nerds look good … laten wij ervoor zorgen dat zoiets niet geldt voor onze aanbestedingen!
Feiten en Visie: een verhalende mix 