Op 16 juni gaven Richard Lennartz (MinBZK/HIS) en Theo van der Linden (VdLC) op het PIANOo-congres een presentatie over het boek RUIS van nobelprijswinnaar Daniel Kahneman. Kahneman werkt op het snijvlak van psychologie en economie: dat is ook het snijvlak van belangrijke elementen van aanbestedingen. Lennartz en Van der Linden zijn ervan overtuigd dat de ideeën van Kahneman grote invloed gaan hebben op de wijze waarop beoordelingscommissies tot hun oordeel komen. Deze zomer plaatsen ze hierover elke week op aanbestedingscafe een artikel. Dit is het zesde deel uit die reeks.
Statistiek is beter dan intuïtie
Hoe goed is het menselijk beoordelingsvermogen vergeleken met een formule? Kahneman haalt in zijn boek Ruis onderzoeken aan waaruit met overtuigend bewijs bleek dat simpele mechanische modellen in het algemeen superieur waren aan menselijke oordelen. Een simpel mechanisch model is feitelijk de regel van een beoordelaar gevat in een formule. De belangrijkste eigenschap van zo’n model is dat een en dezelfde regel op alle gevallen loslaat. Elke voorspeller heeft een gewicht, en dat gewicht is voor alle gevallen gelijk. U zou nu kunnen denken dat dit beperkend is voor een goede voorspelling. `Dat is niet zo. Wij mensen’ halen er namelijk allerlei nuances bij als we beslissingen nemen, houden rekening met zaken als context en moment. Feitelijk maken we allerlei aanvullende beslisregels. In de praktijk blijken die aanvullende beslisregels niet te kloppen, of zaken als ons gemoed of het weer beïnvloeden de inschattingen van de context – onterecht. Denk hierbij ook aan de invloed van het halo-effect: als je iets of iemand op een bepaald aspect positief beoordeelt, je die ook op andere aspecten positief beoordeelt. Het horn-effect is het tegenovergestelde.
Neil Young
Een voorbeeld: je hebt voor € 200,- een kaartje voor het Neil Young-concert in Brussel gekocht. Je vriend Bob wilde ook een kaartje kopen maar had geluk. Hij kreeg een gratis kaartje van een andere vriend die toch niet bleek te kunnen. De dag voor het concert wordt er een sneeuwstorm aangekondigd en zware verkeersoverlast voorspeld. Wie van de twee zal gemakkelijker besluiten om niet te gaan? Iedereen voelt aan dat dat vriend Bob is. Toch is dat, als je er goed over nadenkt, raar. De echte beslissing is hoe veilig is het op de weg, hoe groot is het risico dat ik in een ongeluk terechtkom etc. Het feit of je voor het kaartje betaald hebt of niet zou eigenlijk irrelevant moeten zijn, maar dat is het niet.
Complexiteit levert geen accurate voorspellingen op
In zijn eerste boek ‘Ons feilbare denken’ geeft Kahneman tientallen voorbeelden waarbij mensen hun beslissing baseren op feiten die eigenlijk niet relevant zijn. Kahneman noemt dat de validiteitsillusie. Complexiteit en een overvloedige hoeveelheid informatie leveren door de bank genomen geen accurate voorspellingen op. We zien die validiteitsillusie vaak bij voorspellende beoordelingen. De oorzaak is het onvermogen om onderscheid te maken tussen enerzijds het beoordelen en wegen van beschikbaar bewijs, en anderzijds het voorspellen van de concrete uitkomst. Mechanische modellen, aldus Kahneman, doen het vrijwel altijd beter dan mensen.
Algoritmen
De onderzoeken waar Kaheman naar verwijst zijn redelijk oud, maar zeker niet gedateerd. De uitkomsten gelden nog steeds. Tegenwoordig noemen we die mechanische modellen algoritmen. Met de huidige stand van de ICT zijn die algortimen vele malen geavanceerder te maken dan de mechanische modellen waar Kahneman naar verwijst. Maar zelfs de mechanische benaderingen van bijna lachwekkende regels doen het doorgaans beter dan de mens. Dat dringt ook op alle fronten door in de samenleving. Er wordt geen voetballer meer gekocht zonder dat er een indrukwekkende hoeveelheid statistische gegevens aan te pas komt.
Les vertaald naar de inkooppraktijk
In de inkooppraktijk werken we vaak al met formules die eigenlijk mechanische modellen zijn. Zo bepalen we welke elementen we belangrijk vinden, kennen een gewicht toe aan die elementen en als de offertes binnen zijn, dan scoren we op die elementen. Vervolgens zetten we de scores in de formule die we vooraf hebben opgesteld, en de uitkomst bepaalt de winnaar. De inkoper werkt dus al met een mechanisch model, zou je kunnen denken. Ja en nee.
Ja: de inkoper stopt de cijfers in een model en er komt een cijfer uit
Nee: de cijfers zelf komen vaak niet tot stand door een mechanische formule, maar door persoonlijke voorspellende oordelen. Om het Plan van Aanpak nog maar eens als voorbeeld te nemen: alle elementen overziend, geven beoordelaars het een cijfer. Expliciet en impliciet nemen ze daarbij allemaal zaken mee die ook minder relevant zijn als voorspellende waarden. De beoordelaars geven mogelijk aan enkele elementen in het Plan van Aanpak een expliciet cijfer, maar aan een groot aantal elementen impliciet. Vervolgens wegen ze dat onderling, en die weging gebeurt bij elk Plan van Aanpak geheel in lijn met de validiteitsillusie. En zo krijgt het ene Plan van Aanpak een 7 en het andere een 9. Hoezo mechanische formule?
Wat zijn goede voorspellers?
In de boordeling van dit soort zaken zou je precies moeten aangeven welke elementen je belangrijk vindt: wat zijn goede voorspellers voor de toekomst. Vervolgens beoordeel je elk element in elk Plan van Aanpak afzonderlijk, en geeft ze afzonderlijk een cijfer. Het eindcijfer voor een Plan van Aanpak is vervolgens enkel en uitsluitend een formule met daarin die cijfers verwerkt. Die formule is: alle cijfers opgeteld gedeeld door het aantal cijfers. Oftewel: gewoon het gemiddelde.
Nog meer eenvoud: simpele regels
Spaarzame modellen zijn modellen van de werkelijkheid die er belachelijk simplistisch uitzien, als rekensommetjes op een bierviltje. Maar in bepaalde settings kunnen ze verrassend goede voorspellingen opleveren. In zijn boek Ruis haalt Kahneman onderzoeken aan op justitieel gebied: recidive en vrijlating op borg. Deskundigen gebruikten een groot aantal variabelen – tot 137 toe – om te bepalen of iemand op borgtocht vrij mocht komen of dat er sprake zou kunnen zijn van recidive. Onderzoekers ontdekten dat het werken met slechts enkele variabelen, leidde tot betere uitkomsten.
Werken met simpele `spaarzame’ modellen verdient dus de voorkeur boven modellen met talloze variabelen. Zelflerende modellen (artificial intelligence) zijn echter nog een stuk beter
Les vertaald naar de inkooppraktijk
Stop met het zoeken naar grote aantallen indicatoren die moeten helpen bepalen of een aanbieder een goede dienstverlener gaat zijn. Zoek naar die paar indicatoren, die paar voorspellers, en zet die in en dan ook alleen die. Welke dat in het algemeen zijn, of welke dat specifiek zijn voor bepaalde goederen, diensten of werken is onderwerp van nader onderzoek. Onderzoek op weg naar vereenvoudiging en weg van de validiteitsillusie.
Feiten en Visie: een verhalende mix 