På overfladen kan det være svært at se. Men Elaine Rich er usædvanlig.

Til daglig lever hun et meget almindeligt, forstads-middelklasseliv i USA. Hun har været hjemmegående i huset i Silver Spring, Maryland, mens børnene voksede op. Så arbejdede hun som apoteker. Nu skal hun på pension og skal sikkert rejse en del.

Hun taler langsomt med en lidt landlig, midtvestligt slæbende tone. Hun er ydmyg, men fokuseret. Hun elsker at male oliemalerier; halvabstrakte landskaber med skygger, en italiensk kirke med noget, der ligner turister, foran.

“Jeg maler ting, der er komplicerede og rodede, og forvandler dem til noget, der giver mening,” som hun siger.

Men Elaine Rich kan også noget virkelig bemærkelsesværdigt.

Hun kan se ind i fremtiden.

Eller rettere: Den 63-årige nypensionerede apoteker er usædvanligt god til at forudsige fremtiden. Hun er så god, at hun har været med til at overgå professionelle analytikere fra den amerikanske efterretningstjeneste med adgang til fortrolig data. Hun er så god, at hun er med til at åbne et revolutionerende, forskningsbaseret felt, der kan sætte nye standarder for, hvordan vi ser på fremtiden.

Så hvad er det, Elaine Rich kan?

I den moderne, informationsflimrende virkelighed vrimler det med spådomme. Politiske kommentatorer spår om det næste valg. Fodboldkommentatorer spår om den næste kamp. Økonomiske vismænd spår om væksten, meteorologer spår om vejret, og et væld af eksperter og kloge hoveder spår i medierne om alle tænkelige emner og udviklinger.

Problemet er bare, at spådommene ofte er virkelig dårlige.

Den Internationale Valutafond, IMF, har undersøgt, hvor gode økonomer var til at forudsige kommende økonomiske nedture – recessioner. Svaret? Ikke gode. Økonomerne missede 148 ud af de 150 undersøgte recessioner.

Dagbladet Information undersøgte tilbage i 2013, hvor ofte vigtige økonomiske institutioner som Økonomi- og Indenrigsministeriet, Det Økonomiske Råd (vismændene) og Nordea rammer rigtigt i deres prognoser om væksten det følgende år. Det skete i 5 ud af 179 prognoser. Og økonomerne var ikke blevet bedre til at ramme rigtigt de seneste 40 år, viste undersøgelsen. Med andre ord: Når regeringen eller vismændene forventede en vækst på to procent næste år – og virksomheder, kommuner og forbrugere indrettede sig efter det – blev væksten typisk noget ganske andet.

Der findes en del forskning af, hvor upræcist økonomer ofte rammer i deres forudsigelser. Problemet er, at den autoritet, økonomien typisk udtrykker sig med, sjældent afspejler den usikkerhed. Nobelprisvinder i økonomi Friedrich Hayek kritiserede tilbage i 1974, at økonomien iklæder sig videnskabens og tallenes aura af sikkerhed, og det får politikere og befolkning til alt for ukritisk at indrette deres politik eller huskøb efter prognoserne.

Men det er urimeligt bare at rette kritikken mod økonomerne. De skæve, upræcise eller helt forkerte forudsigelser er et udbredt fænomen.

Microsoft-direktøren Steve Ballmer er berygtet for, ved iPhonens lancering tilbage i 2007, at have forudsagt, at “der er ingen chance for, at iPhonen får nogen betydelig markedsandel.” Vi har svært ved at forudsige teknologi; det samme gælder politik. Henrik Qvortrup deklarerede, at han ville æde sin gamle hat, hvis Liberal Alliance kom i Folketinget. Det gjorde de, og den kontroversielle kommentator endte med at spise en hat for rullende kameraer. Skarer af eksperter, medier og meningsmålingsinstitutter skød skævt ved valget af Trump i USA og Brexit i England.

Det klareste tegn på eksperternes mangelfulde spådomme finder vi i et omfattende forskningsprojekt fra USA. Professor Philip Tetlock fra Pennsylvania University undersøgte tusinder af eksperters forudsigelser over en 20-års periode. Konklusionen var øjenåbnende.

Eksperterne var ikke bedre til at forudsige fremtidige begivenheder end et tilfældigt gæt – eller en chimpanse, der kaster med dartpile.

De dårlige forudsigelser har store konsekvenser.

Politikere laver politik på et skævt grundlag; de lancerer for eksempel reformer, der er indrettet efter langt højere/lavere vækst, end virkeligheden kom til at se ud. Eller politikerne skyder helt forkert i forudsigelsen af, hvordan en ny lov vil virke. Virksomheder kan tabe enorme summer på forkerte forudsigelser. Nødhjælpsorganisationer taler i stigende grad om vigtigheden af at blive bedre til at forudsige sultkatastrofer, så hjælpen kan nå at komme frem. Forskellen kan være tusinder af reddede menneskeliv. Forudsigelser handler også om krig og fred: Vil Irak blive mere fredeligt, hvis Saddam Hussein bliver væltet? Vil Donald Trump og Kim Jong-un lave en fredsaftale – og vil de overholde den?

Forudsigelserne påvirker i den grad, hvordan verden udvikler sig. Vi træffer hele tiden beslutninger ud fra, hvordan vi tror, fremtiden vil se ud. Det gælder, når vi gifter os – og når præsidenter beslutter at gå i krig eller lade være. Derfor er det endnu mere problematisk, at vi er så dårlige til at forudsige fremtiden. Og at vi sjældent er bevidste om, hvor dårlige vi er.

“Vi ved langt mindre, end vi aner,” skriver Philip Tetlock, manden bag den store ekspert-undersøgelse, i sin bog Superforecasting – The Art and Science of Prediction.

“Dårlige forudsigelser … styrer os diskret hen mod dårlige beslutninger og alt, det fører med sig; som tab af penge, missede muligheder, unødvendig lidelse, endda krig og død.”

Men der er måder at blive bedre til at forudsige fremtiden på.

En dag læste Elaine Rich noget spændende på en blog.

Den oliemalende apoketer fra Silver Spring elskede at læse statistikeren Nate Silvers netmedie FiveThirtyEight. Hun var en “trofast tilhænger”, som hun siger, af hans databaserede artikler om politik, sport og samfund.

Og så en dag, tilbage omkring 2011, skrev Nate Silver om en forskningsbaseret konkurrence om at spå om fremtiden. Bag projektet stod det amerikanske efterretningsvæsen gennem den relativt ukendte organisation IARPA, der investerer i forskningsprogrammer, der skal tackle nogle af de sværeste udfordringer for efterretningstjenesterne. En række universitetseksperter på området var også tilknyttet. Målet var, at fem hold hen over fire år skulle konkurrere om at forudsige hundredvis af spørgsmål om globale emner. Et hold var tilknyttet eliteuniversitetet MIT, og førende folk fra private firmaer og analytikere fra efterretningsvæsenet var også involveret.

Men et af de fem hold kaldte sig The Good Judgement Project. Det var også ledet af forskere, men deltagerne skulle være frivillige, helt almindelige mennesker. Folk som Elaine Rich.

Det lød spændende, husker Elaine Rich, hun tænkte. Ikke så meget konkurrencen, mere det at teste sig selv. Hun havde altid været god til at tage tests. (“Jeg læser selve spørgsmålet ekstremt grundigt; jeg ved, hvad jeg skal fokusere på, og hvad jeg kan skære fra – jeg kan skelne signalet fra støjen”). Hun elskede også at læse om storpolitik, om verden. Hun fulgte altid med i nyhederne. “Og så prøvede jeg at regne ud, hvad der ville ske og hvorfor.”

Men som hjemmegående husmor og nu apoteker havde hun aldrig rigtig fået afløb for de ting. Hvordan ville hun klare sig i en så ambitiøs konkurrence mod så imponerende modstandere?

Elaine Rich registrerede sig på The Good Judgement Projects hjemmeside. Hun turde ikke vælge sit eget navn.

Passenger kaldte hun sig selv.

“Det passede til mig,” siger hun.

“Jeg var jo bare en passager – en, der fulgte lidt med på sidelinjen.”

Der findes en overset pointe i Philip Tetlocks store undersøgelse af de upræcise forudsigelser.

Da studiet blev udgivet, fokuserede medierne meget på den store konklusion: Eksperterne spåede lige så dårligt som chimpanser eller tilfældet. Men Tetlocks undersøgelse viste også noget andet: Nogle eksperter var en hel del bedre end andre. Det var interessant. For hvad skyldtes de ret markante forskelle mellem eksperterne?

Tetlock begyndte at undersøge de spørgsmål, og det vækkede interessen hos andre – for eksempel det amerikanske efterretningsvæsen.

Efterretningstjenester skal i høj grad vurdere sandsynligheden af fremtidige udfald. Vil den radikaliserede unge, der har surfet jihad-hjemmesider, reelt lave et terrorangreb? Vil Rusland angribe i det østlige Ukraine? Internt i CIA havde der, helt tilbage fra 1960’erne og med stigende intensitet, bølget en debat om forudsigelser. Hvordan rammer man så præcist som muligt?

I 2002 havde efterretningstjenesterne officielt vurderet, at der var masseødelæggelsesvåben i Irak. Men man fandt aldrig nogen masseødelæggelsesvåben.

I tiden efter var der derfor stor selvransagelse i efterretningsverdenen. Det var tid til forandring. Det gjaldt både præcisionen i forudsigelserne, og hvordan de blev kommunikeret.

Det var på den baggrund, efterretningsmiljøet søsatte forudsigelseskonkurrencen. Man inviterede Philip Tetlock og andre forskere til at lede et af de fem hold, der skulle deltage. Tetlocks hold rummede tusindvis af frivillige amatører. Det var en blandet flok. Der var en pensioneret programmør, en filminstruktør fra Brooklyn, en klimaekspert, en fabriksarbejder. Og en apoteker fra Silver Spring ved navn Elaine Rich.

Alle deltagere skulle spå om knap 500 spørgsmål om globale begivenheder fra 2011 til 2015. Det var spørgsmål som: Hvem vil vinde valget i Senegal? Vil efterforskere finde forhøjede mængder af stoffet polonium i Yasser Arafats lig? Vil Opec – organisationen af olieproducerende lande – skære ned på sin produktion i slutningen af november 2014?

Elaine Rich og de andre skulle sætte en procent på, hvor sandsynligt de vurderede, et udfald var. Ja, de finder polonium i liget med 73 procent sikkerhed. Alle måtte revidere deres prognoser løbende, i takt med at nye oplysninger kom frem i medierne, og det blev regnet ind i bedømmelsen. Man fik point ud fra den såkaldte Brier-score. Den måler forskellen mellem, hvad folk forudsiger, og hvad der rent faktisk sker. Jo lavere en Brier-score, jo bedre.

Resultaterne efter det første år var forbløffende. The Good Judgement-holdet med de frivillige – inklusive Elaine Rich – ramte 60 procent mere præcist end den officielle kontrolgruppe. I det andet år slog holdet konkurrenterne – fra eksempelvis MIT – med 30-70 procent. Man klarede sig også bedre end professionelle eksperter fra efterretningstjenesten med adgang til fortrolig information. Efter to år klarede The Good Judgement-holdet sig så godt, at konkurrenterne droppede ud af konkurrencen.

“Jeg var virkelig overrasket,” siger Don Moore, professor ved Berkeley-universitetet og en af forskerne bag The Good Judgement-holdet. “Vores hold var det mest akademiske og uorganiserede – vi havde slet ikke samme direkte erfaring med ledelse som andre meget professionelle hold.”

De imponerende resultater kunne ikke bare tilskrives held. Man præsterede statistisk set konsistent godt, også i de følgende år (dog med mindre variationer).

Devyn Duffy, en ledig fabriksarbejder på holdet, var lige så overrasket. Han siger, folkene bag The Good Judgement Project forventede at klare sig 50 procent bedre end et fælles benchmark i turneringens fjerde og sidste år. Det skete allerede i det første år af konkurrencen. Derfor måtte forskerne bag The Good Judgment Project hele tiden gentænke projektet – og målene for det – mens konkurrencen kørte.

“Vi var så succesfulde så hurtigt, at forskerne ikke vidste, hvad de skulle researche længere.”

Så hvad var hemmeligheden?

I begyndelsen arbejdede deltagerne påThe Good Judgement-holdet hver for sig. De, der klarede sig bedst, fik status af superforecastere – superforudsigere – og deres resultater blev offentlige for alle. Men ret hurtigt begyndte man at sætte superforecasterne sammen i mindre hold – en slags superteams. Dét blev afgørende. Når de bedste arbejdede med hinanden, blev resultaterne fremragende.

“Den vigtigste læring handlede om massernes visdom – wisdom of the crowds. Ja, vi kan tale om, hvor hårdt de arbejdede, og hvor dygtige og dedikerede de var. Men den vigtigste grund til, at vi fik så meget succes, var, fordi en stor gruppe superforecastere arbejdede sammen,” siger Don Moore, forskeren fra projektet.

Elaine Rich og Devyn Duffy er enige. Holdet var afgørende. Folk udvekslede konstant informationer og tanker om de forskellige spørgsmål. En havde læst noget spændende om valget i Senegal. En havde researchet på poloniums henfaldstid. En havde fundet en bias i testspørgsmålene i retning af status quo (ingen forandring var det korrekte svar i 65 procent af tilfældene). Man diskuterede hele tiden; hvad taler for, at Opec vil skære i produktionen – hvad taler imod?

“Det tog ikke lang tid, før vi begyndte at flytte vores egne forudsigelser hen mod holdets konsensus,” husker Devyn Duffy.

Konceptet om wisdom of the crowds blev første gang opdaget af den britiske statistiker Francis Galton i 1906. På et marked skulle omkring 800 mennesker gætte vægten på en død okse. Galton samlede gættene og regnede gennemsnittet ud. Det var overraskende præcist; folk gættede på 1.197 pund. Oksen vejede et pund mere, 1.198.

Teorien om massernes visdom kan udfordres; grupper kan lave store fejl og forstærke hinanden i dårlige beslutninger. Men der er også stort potentiale i gruppen, særligt hvis dygtige mennesker arbejder sammen i et åbent, konstant tvivlende og spørgende miljø. Det var i hvert fald en af indsigterne i The Good Judgement Project. Folk udfordrede hele tiden hinanden – var der virkelig opbakning til den prognose? Talte de tilgængelige facts for 69 procents og ikke 74 procents sandsynlighed? Gruppen stillede hele tiden spørgsmål til sig selv. Og jo mere mangfoldigt et hold og dets synspunkter var, jo bedre blev kvaliteten af forudsigelserne.

Elaine Rich var ikke blandt de bedste i begyndelsen. Men hun kunne se, hun var tæt på de bedste. Og hun var hurtig til at lære. Og da hun så, efter to år, blev superforecaster, kom hun med på et af superholdene.

“Det gjorde en kæmpestor forskel. Da jeg var anonym som Passenger, stod jeg kun til ansvar over for mig selv. Nu kendte alle mit navn, og jeg var ansvarlig over for gruppen. Det gav et helt andet pres, men skabte også en helt anden dedikation og dynamik,” siger hun.

Et andet nøgleredskab var Fermi-teknikken opkaldt efter fysikeren Enrico Fermi. I stedet for at svare på det store, svære spørgsmål – ville efterforskerne finde polonium i Arafats lig – svarede man på en række lettere underspørgsmål. Hvor længe kan man finde polonium i et lig? Det kan man finde et svar på. Er der fortilfælde, man kan støtte sig til? Ja, nogle få. Hvad har efterforskerne meldt ud hidtil? De har sagt, de har brug for mere tid til undersøgelsen af liget.

Elaine Richs gruppe diskuterede så, hvad den melding betød. Og for at svare på det; hvad vidste de om, hvordan videnskabsfolk arbejder i sådan en situation? Er der mere usikkerhed forbundet med et positivt end et negativt resultat – hvilket kunne tale for, at havde brug for mere tid?

“En af mine kolleger på holdet mente, at det var tilfældet; efterforskerne havde brug for mere tid for at bekræfte et positivt resultat – at der var polonium i liget,” husker Rich.

Gruppen – og Elaine Rich – endte med at forudsige en høj sandsynlighed for polonium i kroppen. Hvilket viste sig at være rigtigt.

Andre ting var også vigtige for, om man klarede sig godt. Mange af de allerdygtigste havde evner inden for matematik. Ikke fordi de byggede store, komplicerede matematiske modeller, men de brugte alligevel data og tal aktivt. De forstod de små nuancer, der kan gøre forskellen, når det gælder sandsynlighed. Det var også afgørende hele tiden at måle sig selv og holdet – hvordan klarede man sig, hvornår fejlede man – og så lære af det.

Både de individuelle superforecastere og de succesfulde hold var konstant klar til at skifte kurs. De analyserede og kritiserede hele tiden sig selv, var villige til at indrømme fejl og brugte generelt så mange kilder som muligt. En tidligere programmør havde endda udviklet et program, der tvang ham til at læse et bredt, mangeartet net af medier og kilder for at undertrykke hans egen bias. Det program blev siden delt med andre superforecastere.

Man kan kalde det guldsmede-metoden, for at bruge et udtryk fra Philip Tetlocks bog. En guldsmed har ikke to øjne, men mange små øjne. Det giver et helt enestående syn. Holdenes villighed til at se tingene fra mange vinkler var afgørende.

Den erfaring trækker en interessant tråd til Tetlocks store undersøgelse af de professionelle eksperter. Hans forskning dengang viste, at jo mere berømt en ekspert var, jo flere fejl lavede han i sine spådomme. Det afholdt imidlertid ikke medierne fra at invitere ham i studiet eller spalterne, igen og igen. Det afgørende for medierne var ikke, hvor præcist eksperterne ramte i deres spådomme (det fulgte medierne stort set aldrig op på); det virkede vigtigere, hvor klart, overbevisende og velformuleret eksperten leverede sine analyser.

“Den slags eksperter får masser af opmærksomhed, men de tager for det meste fejl. Medierne har det svært ved mere velovervejede, tvivlende, på den ene side- og på anden anden side-eksperter. ‘Ja, Hillary er den mest sandsynlige vinder, men det er ikke sikkert, Trump er også en mulighed’. De er jo kedelige kommentatorer!” siger Don Moore, en af forskerne bag The Good Judgement Project.

Nyhedsmedierne har således – lyder argumentet – en stor del af ansvaret for vrimlen af forudsigelser og prognoser af svingende kvalitet, der bliver blæst ud til den brede offentlighed.

Ekspertundersøgelsen pegede også på, at ideologer klarede sig dårligere end pragmatikere. Eksperter med et meget stålsat verdenssyn – meget højreorienteret, meget venstreorienteret for eksempel – ramte typisk mest skævt. De bedste eksperter var nysgerrige, omhyggelige, selvkritiske, åbensindede og dedikerede til hele tiden at udvikle sig selv. Noget lignende gennemsyrede de bedste amatører i forudsigelseskonkurrencen.

At ramme præcist i sine forudsigelser var i det hele taget mere en tankegang end en evne, konkluderede forskerne. For ja, superforecasterne var intelligente, men ikke i en grad, så det var altafgørende. De var ikke genier født med en spåkugle i hjernen. At forudsige ting kan læres, vurderede Tetlock og Moore. Det er en særlig tankegang. Forudsigelse er nærmest en disciplin i sig selv.

Således klarede superforecasterne sig ofte bedre end eksperter på diverse områder. Eksperter i olieøkonomi klarede sig dårligere end amatørerne, da de skulle spå om Opecs produktion (eksperterne forudså, at olielandene ville skære ned på kvoterne, The Good Judgment-holdene sagde, korrekt, at de intet ville gøre).

Som Devyn Duffy siger det: “Pointen er ikke, at ekspertise er betydningsløst. Pointen er, at forudsigelse er en ekspertise i sin egen ret.”

Resultaterne fra The Good Judgement Project kan også udfordres.

For det første: Målte de i virkeligheden blot en masse små spørgsmål på ret kort sigt, der i det store billede er ligegyldige? Ja, til dels. Men måske kan mange små spørgsmål sammen give svar på noget større. Og i hvert fald giver det ikke mening med forudsigelser mange år ude i fremtiden, dertil er usikkerheden alt for stor, skriver Philip Tetlock i sin bog.

For det andet: Har forskerne for lidt data til at sige noget absolut om superforecasternes succes? Det er en kritik, der blandt andet er kommet fra nobelprisvinderen Daniel Kahneman (han taler om problemer med at tage tilstrækkeligt højde for tid – det er langt sværere at forudsige to år frem end to uger). Og ja, det er uden tvivl rigtigt. Der var også udsving i forhold til, hvor godt de dygtigste klarede sig over tid. Der er behov for mere forskning. Der er meget, vi ikke ved.

Og det er en vigtig pointe. Som mennesker har vi generelt en dårlig forståelse af sandsynlighed. Vores hjerne har lært sig, helt tilbage fra savannen, at reagere hurtigt – for hurtigt – når den vurderer den umiddelbare fremtid: Er der en løve i græsset eller ej? Savanne-hjernen havde ikke tid til analyse; så hellere tage flugten med det samme. Noget af det hænger stadig ved. Vi er gode til ja og nej, vi har det sværere med måske.

Måske er det derfor, medierne igen og igen bringer enkle forudsigelser – som igen og igen bliver lyttet til. Vi har som mennesker et dybt behov for mening og orden. Der er tryghed i skråsikre spådomme.

Men verden er usikker, fuld af talløse muligheder. Måske – argumenterer forskere som Tetlock og Moore – skulle vi blive bedre til at omfavne de usikkerheder.

Når meteorologer spår om vejret, lader de den usikkerhed stå klart; der er 35 procent sandsynlighed for regn, skriver de. Kan vi gøre det samme med politiske eksperters spådomme? Eller med økonomernes forudsigelser? Der er 70 procent sandsynlig for, at væksten bliver højere næste år. Måske kan det hjælpe os til at forstå de usikkerheder, der ligger i forudsigelsernes natur.

Hvad nu, hvis vi brugte en mere videnskabelig, eksperimenterende tilgang til forudsigelser, spørger Philip Tetlock i sin bog – inspireret af den slags metoder, vi for eksempel finder i lægevidenskaben? Hvis vi hele tiden målte og fulgte op på forudsigelserne, så de i langt højere grad blev en selvstændig, forskningsunderstøttet disciplin? Hvis mediebrugere blev vænnet til, at eksperters forudsigelser var lige så testede og gennemprøvede, som den medicin, de køber? Hvis vi kunne forfine forudsigelserne, så regeringer kunne lave mere virkningsfuld politik – ikke spilde skattekroner på initiativer, der ikke virker som troet?

Det kunne, skriver Tetlock, betyde forskellen på virksomheders succes eller bankerot; på investorer, der rammer plet eller slet ikke; på efterretningstjenester, der forhindrer reelle angrebsplaner; på nødhjælpskonvojer, der kommer frem til sultkatastrofer i tide; det kunne være forskellen på krig og fred.

“Det kunne blive enormt,” skriver Philip Tetlock.

“Eller også,” tilføjer han, “vil ingenting ændre sig.”

Jeg giver det 55 procent.

I dag har Devyn Duffy fået et nyt job.

Han arbejder på et offentligt kontor, der giver medicinsk hjælp til behandling i hjemmet og på plejehjem. Han laver til gengæld ikke forudsigelser mere – det tog alt for meget tid. “Jeg synes, det er sjovt, at jeg i begyndelsen ikke kunne forudsige, hvordan forudsigelseskonkurrencen ville være.”

Men han er glad for at have deltaget. Der er en del erkendelser at tage med. Han lærte for eksempel, at “selv om politikere har ry for at være uærlige og bryde løfter”, så opdagede han i sine forudsigelser, at når politikere sagde, de ville gøre noget, forsøgte de for det meste at gøre det.

Selve The Good Judgment Project er blevet til en virksomhed, der sælger forudsigelser til virksomheder og regeringer eller træner folk i at blive bedre til at forudsige – “Det er meget populært,” siger administrerende direktør Terry Murray.

De står også for en ny, mere kommerciel forudsigelseskonkurrence i samarbejde med blandt andet The Economist og CNN.

Og Elaine Rich? I weekenden gik hun på pension, så lige nu rejser hun rundt i Schweiz og Italien. “Min mand kan godt lide at rejse, og nu er jeg jo til rådighed,” som hun siger.

Hun arbejder dog stadig af og til med forudsigelser som en slags konsulent for The Good Judgment Inc. Hun håber at tjene lidt penge på det. Men det er svært at forudsige. Til gengæld er hun praktisk talt helt sikker på, at hun kommer til at lave en hel del oliemalerier.

Det sætter hun til 99,5 procent.