Nu we steeds meer algoritmes gaan gebruiken in organisaties, wordt het belangrijker nog beter te gaan kijken naar onze vooroordelen. Anders zullen deze zeker hun weg vinden in bedrijfsprocessen waar vooral de mensen last van zullen krijgen die het al moeilijk hebben. Dat betoogt voormalig Wall Street wiskundige Cathy O’Neil in haar boek Weapons of Math Destruction.

Deze wiskundige massavernietigingswapens, afgekort WMD’s, zijn in feite slechte veronderstellingen gemaskeerd door wiskunde. WMD’s kunnen grote schade aanrichten en verbeteren zichzelf niet middels feedback. Een doodzonde voor ieder algoritme.

Wiskundige modellen proberen de realiteit na te bootsen. Een heel simpel algoritme zit bijvoorbeeld in een rookmelder. Als er rook is, zal er waarschijnlijk brand zijn, dus gaat het alarm af. Dit kun je niet toepassen op mensen. Ooit een grote schuld gehad? Dan ben je een risico en een klaploper. Banken willen je geen hypotheek geven en HR-afdelingen willen je geen baan aanbieden. WMD’s reduceren mensen tot statistische getallen. Zelfs als ze het regelmatig goed hebben, vallen er gegarandeerd slachtoffers.

Een overwegend positief voorbeeld van het gebruik van algoritmes is Moneyball: het inzetten van sportstatistieken om honkbalspelers aan te kopen en teams samen te stellen. Dit is positief omdat het transparant is en iedereen weet wat er gemeten wordt en hoe dit geïnterpreteerd wordt. Bovendien is er gigantisch veel data beschikbaar. Wat Amazon doet, ontdekken wat hun klanten beweegt, kan ook door de beugel als commerciële toepassing omdat het algoritme continu leert en er geen mensen worden uitgesloten.

Slechte algoritmes delen ons in in groepjes ‘mensen zoals ons’, maar niemand weet goed waarom. Vervolgens worden op basis daarvan beslissingen gemaakt, zoals hoeveel we moeten betalen voor een autoverzekering, welke roofdier-advertenties we te zien krijgen en hoe waarschijnlijk het is dat we een crimineel zijn.

We moeten deze modellen leren herkennen. Niet alleen de data-wetenschappers, maar iedereen die zakelijk gebruik maakt van algoritmes voor processen en beslissingen. Anders creëren we mogelijk een poverty trap waarvan het herstel tientallen jaren kan gaan duren. Vrije markten gaan het probleem niet oplossen, alleen meer bewustzijn kan dat doen.