Send en tanke til Zetlands medlemmer, der har betalt for, at vi kunne lave denne artikel. Uafhængig journalistik er ikke gratis.

signature

Før lavede hun algoritmer på Wall Street. Nu siger hun, slagsiden ved dem er større, end vi aner

NY VEJVi bruger algoritmer forkert, mener Cathy O’Neil, der var desillusioneret efter flere år på Wall Street. Collage: Kasper Løftgaard

Derfor skal du læse denne artikel

Algoritmer styrer stadig mere af vores liv. De er i høj kurs hos virksomheder og myndigheder, fordi de bringer overblik og effektivitet. Men kan vi stole på algoritmerne? Nej, siger Cathy O’Neil, der som ph.d. i matematik har arbejdet på Wall Street med netop det område. Nu har hun skrevet bogen ‘Weapons of Math Destruction’. For algoritmer er ikke objektiv videnskab, mener hun. De er meninger skrevet i computerkode.

For få år siden var det kun nørderne, der kendte ordet. I dag er de en kendt nøgle til digital succes: algoritmer.

På sin vis er algoritmer computerkode, der gennemtrawler data og tager beslutninger hurtigere, end nogen menneskehjerne er i nærheden af at præstere. Vi har vænnet os til, at algoritmer vælger for os. Hvad vi skal se på Netflix, købe hos Amazon eller læse på Facebook. Om få år skal en algoritme styre bilen for os. Og potentialet rækker langt videre.

Spørgsmålet er imidlertid, om vi bruger dem forkert – om vi mangler en langt større bevidsthed om algoritmerne og deres slagsider.

Eller som en af de mest interessante tænkere på området, Cathy O’Neil, sagde til mig for nylig:

Algoritmer er ikke objektive. De er meninger skrevet i computerkode.”

Cathy O’Neil kender – mildt sagt – til algoritmer.

Hun har en ph.d. i matematik fra Harvard og var i en årrække forsker hos MIT (Massachusetts Institute of Technology). I 2007 gjorde hun som mange andre af verdens talentfulde matematikere: Hun tog et job på Wall Street. Her udviklede man i de år nogle ekstremt avancerede algoritmer – blandt andet til at foretage millioner af aktiehandler på mindre end et sekund.

Efter fire år på Wall Street var O’Neil imidlertid blevet både desillusioneret og bekymret. Matematikken var, mente hun, blevet til masseødelæggelsesvåben i hænderne på uvidende, grådige finansbosser. Den analyse har hun skrevet en bog om, selvfølgelig med titlen Weapons of Math Destruction. Hun var så opgivende, at hun sluttede sig til protestbevægelsen Occupy Wall Street.

Cathy O’Neil – som i øvrigt også er en del af Slate Money, en begavet podcast om økonomi – er altså interessant i kraft af sin dobbelthed. Dels forstår hun algoritmer i detaljen som få andre. Dels evner hun at træde at skridt tilbage og vurdere både potentialer og faldgruber på området.

Jeg talte med hende over en telefon til New York.

Cathy O’Neils argument handler ikke mindst om, hvordan vi taler om algoritmer. Ofte som en slags sandhed, hævet over menneskelig fejlbarlighed. En slags uudfordret, hemmelig videnskab.

Algoritmer er bedre end menneskeligt gætværk, men de er langtfra perfekte. Alligevel bliver algoritmer præsenteret som et objektivt videnskabeligt værktøj, vi kan stole på. Det er et marketingtrick. Og det virker desværre alt for godt,” siger hun.

Algoritmer er i høj kurs. Og med god grund. De står centralt i en digital økonomi med big data og kunstig intelligens som vigtige elementer. Algoritmerne kan genkende mønstre og forudsige udfald med en nøjagtighed, den menneskelige hjerne aldrig kan matche.

Tidsskriftet New Scientist beskriver, hvordan intelligente maskiner allerede i dag er bedre til alt fra skak til mundaflæsning. De egenskaber giver store fordele inden for blandt andet forskning. Det videnskabelige magasin Nature fortæller, at klimaforskning i dag i høj grad er et spørgsmål om dataanalyse. Algoritmebaseret kunstig intelligens gennemgår myriader af informationer for at afdække nye mønstre i klimaet og levere mere præcise forecasts.

Ny forskning fra England og USA viser, at kunstig intelligens er bedre til at forudsige hjertestop end nogen læge, fordi algoritmen kan sammenligne patientens tilstand med datasæt fra 378.000 andre patienter i realtid.

En kernekompetence for algoritmen er at forudsige menneskelig adfærd. Amazon tog allerede i 2014 patent på en algoritme, der blandt andet skulle bruges til anticipatory shipping – forudseende levering. Her bliver varen afskibet, inden kunden har bestilt, fordi Amazon er så sikker på bestillingen. Algoritmen bruges også til at identificere kunder, der er ved at forlade siden uden at købe noget.

Vi er mere ens, end vi tror, og har algoritmen tilstrækkeligt med sammenlignelige data til rådighed, kan den læse os stadig mere præcist. Den viden er guld værd for virksomheder og myndigheder. Tænk at vide på forhånd, hvad kunden har brug for, eller hvornår forbryderen vil begå kriminalitet.

Så ja, her findes stort potentiale. Men det er også her, matematikeren slår alarm.

O’Neil peger på, at algoritmer kun har den viden, de bliver fodret med. I vores historik har vi givet fordele til visse grupper i samfundet – hvide mennesker og mænd – siger hun. Det afspejles i algoritmerne. Det er historisk set mindre sandsynligt, at en hvid person havner i fængsel, derfor får vedkommende en bedre risikovurdering.

Algoritmer bekræfter og forstærker på den måde historiske uretfærdigheder i det amerikanske samfund. De uheldige får endnu mere uheld, og de heldige bliver endnu heldigere. Det går ud over fattige, syge, kvinder og minoritetsgrupper,” forklarer O’Neil.

Problemet kommer også til udtryk, når virksomheder bruger algoritmer til at sortere blandt jobansøgere. Det er på papiret en effektiv metode, og HR-medarbejderne skal i nogle tilfælde kun kigge på omkring en fjerdedel af ansøgningerne.

Men algoritmerne er bygget på historik og dermed menneskelige fejl, siger O’Neil. Det vil sige, at de efterligner menneskelige beslutninger. De er trænet til at lære fra tidligere succeser. Det inkluderer fordomme og kan være baseret på forældet information, for eksempel fra en tid, hvor der var færre kvinder og andre minoriteter på arbejdsmarkedet:

Virksomheden har indført algoritmer for at effektivisere rekrutteringsprocessen, men de risikerer at udelade ansøgere baseret på køn, race, alder eller handicap.”

Historiske data er også centrale, når ordensmagten tyr til algoritmer. Amerikansk politi har været en af de flittigste brugere af software til predictive policing.

Både forskere og medier følger fænomenet. En afdækning af predictive policing finder man for eksempel i den tyske dokumentarfilm Pre-Crime, der har amerikansk premiere den 21. oktober i år. Titlen er ikke tilfældig. Pre-Crime er navnet på en politienhed i Minority Report, Steven Spielbergs sci-fi-film fra 2002. Her ved politiet på forhånd, hvem der vil begå en forbrydelse, og kan dermed gribe ind præventivt. I Spielbergs univers var det tre mutanter, der visualiserede fremtiden til en computer. I dag er det bare computere.

Pre-Crime viser, hvordan politiet i storbyer som Chicago og Los Angeles starter arbejdsdagen med en slags vejrudsigt, bare for kriminalitet. Et kort over byen viser de hotspots, hvor der forventes at blive begået forbrydelser i de kommende timer. Algoritmerne har brugt historiske data om kriminalitet og anholdelser til at udregne sandsynligheden for, at det sker igen. Det vil sige, at politiet koncentrerer sig om de områder og mennesker, hvor kriminaliteten i forvejen er høj.

Det giver mening. Men igen risikerer man at overføre og forstærke menneskelige bias.

Hvis du er en hvid velhavende person, måske endda en mand, kommer du formentlig aldrig i berøring med de negative konsekvenser af algoritmen. Det er et begrænset og fejlbehæftet sæt data, man arbejder med,” siger O’Neil.

Hun påpeger, at vi reelt ikke indsamler data om kriminelle og deres adfærd. Det gør politiet, baseret på deres historik og fordomme.

Det er ikke et retfærdigt datagrundlag. Hvis det skal være retfærdigt, burde vi også indsamle data om politiets handlinger, for eksempel for at måle effekt på godt og ondt,” siger O’Neil.

I Weapons of Math Destruction risikovurderer hun algoritmer på tre parametre: hemmeligholdelse, omfang og skadelig effekt.

Netop hemmeligholdelsen er central – ikke blot når det gælder politiets arbejde, men på et større plan.

Når et fly styrter ned, finder vi fejlene og retter dem. Det sker ikke med algoritmer. De bliver betragtet som objektive værktøjer, men enhver videnskabelig påstand kræver evidens, og den er ikke til at få øje på hos algoritmen. Vi skal bare stole på beslutningen og har ingen mulighed for at appellere. Selv når vi har en mistanke om, at en algoritme fejler, kan vi ikke se den efter i sømmene,” siger hun.

Facebook er et andet oplagt eksempel. Facebook har påvirket både samfund og præsidentvalg i de senere år, påpeger O’Neil. Men vi kender ikke Facebooks algoritmer.

Facebooks algoritmer er lige så hemmelige som opskriften på Coca-Cola, og det samme er tilfældet hos Google og andre virksomheder, der lever af data.

Facebook scorer højt på alle tre af O’Neils parametre. Det er verdens største sociale medie med over to milliarder brugere, algoritmen er en forretningshemmelighed, og hele Facebooks raison d’être er at analysere menneskelig adfærd.

Facebooks algoritmer er i årevis blevet kritiseret – blandt andet for at skabe ekkokamre, hvor brugerne kun bliver eksponeret for indhold, der matcher deres eksisterende forestillinger og fordomme. Det sociale netværk kan imidlertid også bruges til mere direkte påvirkninger. Et amerikansk kongresudvalg fandt for nylig frem til, at Rusland for et beskedent beløb på 100.000 dollars havde formået at ramme flere millioner amerikanske vælgere med fake news og misvisende annoncer. The New York Times fandt frem til flere hundrede opslag med falsk information om kaotiske, voldelige tilstand i USA: muslimer, der snød det offentlige, og krigsveteraner slået ned på gaden. De mange opslag blev styret af en russisk virksomhed med tilknytning til Kreml.

Facebooks algoritme havde ikke taget højde for, at den kunne bruges til de formål. (Siden har den historie og andre hændelser fået myndigheder i USA og EU til at varsle mere regulering af digitale giganter som Facebook og Google, herunder deres databehandling).

Det påvirker dog ikke væksten i algoritmer.

Analysefirmaet Gartner forudser en algoritme-økonomi med virtuelle markedspladser, hvor virksomhederne køber og sælger algoritmer efter behov. Det kan være en virksomhed eller en udvikler, der har lavet en algoritme til ét formål, men som også kan bruges til andre problemstillinger. Eller det kan være en virksomhed, der har brug for en algoritme. Det havde Netflix i 2009 – en algoritme til at foreslå film og serier tilpasset den enkelte seer. Løsningen på det tidspunkt var Netflix Prize, en global konkurrence blandt verdens matematikere og en præmie på en million dollars.

Efterspørgslen efter algoritmer vil med al sandsynlighed vokse, fordi internettet og datamængden fortsætter med at skyde i vejret. Det skyldes ikke mindst Internet of Things, hvor antallet af internetforbundne apparater ventes at gå fra tre til 20 milliarder de næste fem år. Det betyder en eksplosion i data, der skal analyseres, og det kræver algoritmer.

Cathy O’Neil ønsker da heller ikke at stoppe udviklingen eller forbyde algoritmer. Hun er matematiker og elsker stadig computerkoder.

Jeg vil også gerne have alt det, big data lover. Vi kan virkelig udrette meget. Data er information, og vi skal hele tiden blive klogere. Det er, hvad videnskab handler om. Men det skal være transparent, objektivt og retfærdigt. Vi må spørge os selv: Hvem mister noget, hvem bliver svigtet ved denne metode? Er den fair, eller har den uønskede konsekvenser?”

Hun foreslår en indsats på to niveauer, det individuelle og det systemiske.

Det individuelle handler om, hvordan vi eksempelvis uddanner softwareudviklere og dataeksperter. Her bør vi skrue op for de etiske aspekter, mener O’Neil:

Det er ikke noget, man er særlig vant til, men algoritmer har i dag så vidtrækkende konsekvenser, at det er yderst relevant.”

På det strukturelle plan peger hun på mere gennemtænkt kontrol med virksomheder og myndigheder. Det kunne være standarder for algoritmers effekt. De standarder kan bygge på en række kriterier, verificeret af en uafhængig part.

Lige nu tror alle, deres algoritme er neutral, objektiv, perfekt. Det passer bare ikke. Enhver vigtig algoritme bør gennemgås af eksterne eksperter, ligesom revisorer gennemgår et regnskab for at sikre overholdelse af loven og god regnskabsskik,” siger hun.

Cathy O’Neil peger på, at det jo også er i myndighedens eller virksomhedens interesse at overholde loven, for eksempel hvad angår diskrimination, eller blot for at finde de bedste ansatte eller anholde de rigtige kriminelle.

Det er ikke så svært, som det lyder,” siger hun.

Der findes allerede en række gode redskaber til at gennemgå processer for at afdække uønskede effekter. Sociologer har i årevis revideret processer i organisationer for eksempelvis at identificere institutionel og andre former for racisme.

Det samme lader sig gøre med algoritmer.”

Nå, så kom det akavede øjeblik

Det er nu, vi bare siger det direkte: Bliv medlem, hvis du sætter pris på viden og nuancer.

Bliv medlem