Send en tanke til Zetlands medlemmer, der har betalt for, at vi kunne lave denne artikel. Uafhængig journalistik er ikke gratis.

signature

Dræberrobotter er lige om hjørnet. Her er, hvorfor du skal være bekymret

PUFDen her drone brænder bare affald væk fra elledninger i Kina. Men forestil dig lige at få sendt en hel sværm af sådan nogle efter dig – det er faktisk ikke urealistisk. Foto: Scanpix / Reuters

Derfor skal du læse denne artikel

Elon Musk og Stephen Hawking er hunderædde for dem, det samme er en hel masse computereksperter. Allerede for fem år siden kunne selvtænkende dræberrobotter tæve et toptunet amerikansk krigsskib. I fremtiden vil de ifølge de mest mareridtsagtige scenarier tvinge os til at leve inden døre eller risikere en pludselig, fuldautomatisk død. Våben, som selv vælger deres mål, er lige om hjørnet – teknologien er her faktisk allerede – og det går trægt med internationale forsøg på at regulere den.

Du har måske ikke opdaget det, men menneskeheden står over for et eksistentielt valg.

Det handler om, hvem der skal have lov at slå os ihjel.

Vil vi tillade dunkle algoritmer at beslutte, hvem der skal leve og dø, eller vil vi selv beholde kontrollen over den slags valg?

Måske lyder det som science fiction, men det haster faktisk med at finde på et svar, for den teknologiske udvikling går rivende stærkt.

Lige om lidt står vi ansigt til ansigt med selvtænkende, dødbringende robotter, der både kan udvælge mål, bevæge sig hen til dem og dræbe med stor præcision – helt på egen hånd og uden nogen menneskelig indblanding undervejs.

De første, diplomatiske skridt på vejen mod en mulig regulering af teknologien blev taget i FN-regi midt i november, men det går mildt sagt langsomt, og spørgsmålet er, om diplomaterne kan blive enige om noget som helst, før udviklingen overhaler dem.

Og hvad der så vil ske, er et åbent spørgsmål.

Hvad er skrækscenariet?

Pænt skræmmende.

Den yderst tænkelige konsekvens har cirkuleret i populærkulturen i hvert fald siden, Arnold Schwarzenegger første gang optrådte som Terminator i 1984. Filmseriens centrale plot er en udslettelseskrig mellem menneskeheden og et intelligent våbensystem, der har besluttet at slå os alle sammen ihjel. Det er stadig science fiction, men også en helt reel frygt hos eksperter, inklusive Tesla-stifter Elon Musk, en af tidens mest visionære teknologi-iværksættere.

Mindre kendt – men lige så skræmmende – er de mere nærtforestående konsekvenser af koblingen mellem våbenteknologi, kunstig intelligens og de konstant voksende mængder af data, som verdens omsiggribende digitalisering indebærer.

I november lykkedes det en gruppe eksperter i kunstig intelligens anført af Berkeley-professoren Stuart Russell at male skrækscenariet op i videoformat, så det gav genlyd verden over. Slaughterbots hedder videoen, og det er noget af det mest ubehagelige, jeg personligt har set længe:

Videoen viser en nær fremtid, hvor folk er tvunget til at leve inden døre med gitter for vinduerne af frygt for små, flyvende dræberdroner, som ukendte gerningsmænd slipper løs for at myrde eksempelvis studerende, der har delt en samfundskritisk video på sociale medier. Dræberdronerne vælger selv deres mål ud fra frit tilgængelige data.

Det hele er – som Russell pointerer til slut i videoen – fuldstændig realistisk og teoretisk muligt ved at kombinere og skrumpe teknologier, der allerede findes. Såsom ansigtsgenkendelse.

En tilsvarende advarsel kom i 2015 i et brev fra flere tusind eksperter i kunstig intelligens, inklusive cheferne for Googles storsatsning på området, DeepMind, og med blandt andre fysikeren Stephen Hawking og førnævnte Elon Musk som medunderskrivere.

Autonome våben vil blive morgendagens Kalashnikovs,” skrev eksperterne og advarede om, at det kun er et spørgsmål om tid, før de falder i hænderne på terrorister, despoter og krigsherrer, der vil begå etniske udrensninger.

Advarslen udsprang af verdens vigtigste konference om kunstig intelligens, IJCAI, og deltagerne ved årets udgave af konferencen gentog den i et nyt åbent brev, hvor de tryglede FN om et forbud:

Det kan blive terrorvåben, våben, som despoter og terrorister bruger mod uskyldige befolkninger, våben, som kan hackes til at opføre sig på uønskede måder. Vi har ikke lang tid at handle i. Når først denne Pandoras æske er åbnet, bliver den svær at lukke igen.”

Hvad bliver der gjort for at forhindre skrækscenarierne?

Formentlig for lidt til at følge med udviklingen.

De senere år er der langsomt bygget momentum op omkring et krav om forbud mod dræberrobotter. Ud over eksperter i kunstig intelligens drives kravene især frem af menneskerettighedsorganisationen Human Rights Watch, der står i spidsen for ngo-koalitionen Campaign to Stop Killer Robots.

Presset har ført til, at der nu eksisterer en FN-gruppe af regeringseksperter dedikeret til spørgsmålet. De arbejder under en konvention til regulering af særlig forskrækkelige våbentyper. Konventionen er tidligere brugt til at forbyde eller begrænse brugen af brandbomber, landminer og laser til at gøre folk blinde.

Efter et par uformelle møder mødtes ekspertgruppen officielt første gang midt i november for at diskutere de første skridt mod regulering eller forbud. Formanden er en rutineret indisk diplomat med blød stemme, hestehale og gråsprængt skæg, og det er på en eller anden måde beroligende. Men … det … går … virkelig … langsomt.

Eksperterne diskuterer faktisk stadig, hvad de egentlig helt præcist taler om. Hvilket er mindre fjollet, end det lyder. Dels fordi teknologien stadig er under udvikling og sværere at få hold på end eksempelvis en landmine, dels fordi definitionen af fænomenet er fuldstændig afgørende for rækkevidden af eventuel regulering.

Ekspertgruppen har aftalt at fortsætte diskussionerne næste år, men ngo’erne er ved at miste tålmodigheden.

Vi vil ikke vente for evigt,” siger Mary Wareham, leder af Campaign to Stop Killer Robots, som jeg fangede, da hun var i København forleden.

Hun har tidligere været involveret i arbejdet for at forbyde landminer. Det kørte sur i FN-regi, så i stedet gik en gruppe lande i 1996 sammen om Ottowa-traktaten. I dag har 162 lande skrevet under, men ikke store, vigtige militærnationer som USA, Rusland og Kina. De er kun med i en mere udvandet FN-regulering, som ikke desto mindre har fået dem til at afholde sig fra at bruge landminer i praksis. Noget lignende kunne godt ske med de nye, autonome våben.

Vi får et forbud mod de her våbensystemer. Det er kun et spørgsmål om, hvor stærkt det vil blive, hvor det skal forhandles, hvem der vil skrive under, og om det vil blive respekteret,” siger Mary Wareham.

Hvad er Danmarks holdning til de nye våben?

Tøvende. Modsat vores nordiske naboer deltog vi ikke i FN-mødet i Genève i november.

Rune Saugmann, forsker i sikkerhedspolitik ved universitetet i Tampere i Finland, undrede sig forleden i et debatindlæg. Vi har, pointerede han, investeret i nye, højteknologiske kampfly, der kan arbejde sammen med autonome våbensystemer, og går jævnligt i krig med verdens teknologisk førende militærmagt, USA.

På et eller andet tidspunkt vil man dermed sandsynligvis stå over for valget om at bruge eller få hjælp af autonome våbensystemer i fremtiden, selv hvis vi ikke selv anskaffer dem,” skrev Rune Saugman.

Mary Wareham giver udtryk for samme undren og opfordrer Danmark til at tage klar stilling.

Jeg håber virkelig, Danmark vil holde op med at sidde på sidelinjen og begynde at forholde sig til det her spørgsmål,” siger hun.

Der er virkelig brug for, at de europæiske lande træder til.”

Jeg har bedt forsvarsminister Claus Hjort Frederiksen (V) svare på kritikken og klarificere Danmarks holdning til autonome våbensystemer. (Danmark har tidligere meldt ud, at al magtanvendelse efter vores officielle mening skal bevares under meningsfuld menneskelig kontrol”, men ikke tilsluttet os krav om et forbud).

Claus Hjort Frederiksen har svaret i en mail, hvor han ikke forholder sig til kritikken eller uddyber Danmarks holdning ud over at skrive, at han følger udviklingen, og at Danmark ikke isoleret vil kunne fastsætte en politik uafhængigt af, hvad der sker internationalt”.

Hvor langt er teknologien i dag?

Både skræmmende tæt på og beroligende langt væk.

Det er allerede i dag muligt at udvikle et dumt’ autonomt våben, som kan genkende et objekt eller en person og dræbe personen,” siger Vincent Boulanin fra fredsforskningsinstituttet SIPRI i Sverige. Han har netop færdiggjort en rapport, som gør status på teknologien.

Man kan købe en simpel quadrokopter på nettet, og hvis man er en lidt talentfuld programmør og downloader noget ansigtsgenkendelsessoftware, vil man formentlig kunne udvikle noget basalt, som kan genkende et menneskeligt ansigt og angribe det.”

Scenariet fra Slaughterbots-videoen er altså allerede teoretisk muligt – det er bare et spørgsmål om, hvornår en terrororganisation eller anden væbnet gruppe er talentfuld og hensynsløs nok. Og hvis det lyder langt ude, så husk, at både Islamisk Stat, de stridende parter i Ukraine og de palæstinensiske grupper Hamas og Hizbollah for længst har modificeret civile droner og brugt dem som våben.

Ånden er altså på sin vis allerede ude af flasken.

Alligevel giver det mening at arbejde for et forbud mod, at stater udvikler dræberrobotter, mener Mary Wareham fra Human Rights Watch, fordi det sender et signal til ikke-statslige grupper om, hvad der er acceptabelt. Ikke alle vil følge det, men nogle vil.

Og der er stadig tid at løbe på. I dag er det ikke muligt at lave våbensystemer, der kan angribe mennesker uden at overtræde krigens love, siger Vincent Boulanin, og det forsinker udviklingen, fordi stater generelt prøver at leve op til dem, i hvert fald i teorien.

Krigens love siger, at en angriber både skal skelne mellem civile og militante og afveje ethvert angrebs militære værdi med risikoen for civile tab. Det er computere stadig ikke kloge nok til, og måske bliver de det aldrig. Derfor går det meste af udviklingen – så vidt vides – i retning af angreb på let genkendelige militære mål som kampvogne, krigsskibe og luftforsvarssystemer.

Israel er i dag det eneste land, som med sikkerhed råder over angrebsvåben, der kan fungere fuldautomatisk, og det er en slags ubemandede kamikazefly. Antageligvis er det dog USA (måske tæt fulgt af Israel), som er førende på feltet, mens Kina, Rusland, Storbritannien, Sydkorea og til dels Frankrig og Japan følger efter.

USA investerer massivt i teknologien og har givet autonome våbensystemer en central placering i den strategi, der skal sikre landets fortsatte militære overlegenhed. Amerikanerne har dog også som de eneste en erklæret politik om, at mennesker (foreløbig frem til 2022) skal involveres i beslutninger om at slå mennesker ihjel.

Der spekuleres imidlertid i, at lande som Kina, Rusland og diverse andre autoritære stater går mindre op i den slags, hvilket kan tvinge amerikanerne til at følge trop og slække på den menneskelige kontrol med våbnene. Ellers risikerer amerikanerne at stå tilbage med relativt langsomme, menneskestyrede systemer, mens andre satser på lynhurtig computerkraft.

Hvad bliver de storpolitiske konsekvenser af de nye våben?

Med god sandsynlighed vil de gøre verden farligere.

Det er der flere grunde til.

  • Det er svært at undgå, at teknologien spreder sig. Dels er den baseret på software, som kan hackes, stjæles og installeres på relativt simple våben (såsom bevæbnede droner), dels drives den frem af den civile sektor, når studerende bygger fodboldrobotter, eller bilfabrikker laver selvkørende biler – og ikke af storstilede (og hundedyre) militære projekter. Alt sammen gør teknologien relativt billig og lettilgængelig, modsat tidligere våbentyper som atomvåben, ubåde og jagerfly.

  • Teknologien sænker formentlig tærsklen for at gå i krig. Hvis man kan lade ubemandede, selvtænkende våbensystemer om at angribe, sætter man ikke menneskeliv på spil. Det sænker prisen’ for at angribe, lyder en udbredt analyse.

  • Sværme af robotter ændrer styrkeforholdet på slagmarken. Den mest lovende’ teknologi inden for autonome våben er sværme af billige engangsdroner, som kan angribe i så stort antal, at de kan overvælde selv de bedste forsvarssystemer. Eksperter sammenligner med Djengis Khans horder af mongolske ryttere, der undertvang sig enorme områder i 1200-tallet med uventede og talstærke lynangreb.

    Amerikanske skrivebordsøvelser viste allerede for fem år siden, at en dronesværm kan tæve et moderne krigsskib, og både USA og Kina er langt fremme med sværm-teknologien. Amerikanerne er sågar lykkedes med at slippe en sværm løs fra et jagerfly.

    Det er ikke trivielt. Sådan en sværm kan måske i fremtiden bruges til at angribe atomvåbeninstallationer. Siden Den Kolde Krig har magtbalancen mellem verdens to førende atommagter, USA og Rusland, hvilet på bevidstheden om, at ingen af dem kan angribe den anden med atomvåben uden selv at forsvinde i en atomsky. Det skaber på bizar vis grundlag for tillid mellem parterne. Men det grundlag forsvinder, hvis den ene – eller begge – teoretisk set bliver i stand til at ødelægge den andens atomvåben ved at slå først. Det vil skabe mistillid, nervøsitet og teoretisk set øge risikoen for, at en krise faktisk eskalerer til brug af atomvåben. Det samme gælder selvfølgelig i konflikter mellem andre atommagter.

  • Autonome våben kan sætte gang i uoverskuelige kædereaktioner. De selvtænkende våbens største militære fordel er, at de er meget hurtigere end mennesker. I kampe mellem autonome våben vil sejren afhænge af algoritmer og reaktionstid, og der vil ikke være tid til menneskelig indblanding undervejs – slet ikke, hvis sværme af selvtænkende droner er involveret.

    Det kan få uoverskuelige konsekvenser, mener eksperter.

    Forestil dig et øjeblik, at USA og Nordkorea havde deres våbensystemer koblet op på den slags teknologi i den nuværende krisesituation, og at et eller andet – en uventet bevægelse på en af siderne, en vildfaren fugleflok, en fejl i systemet – satte gang i en computerstyret kædereaktion, der førte til affyring af atommissiler, før nogen kunne nå at blinke.

    Den slags er på ingen måde grebet ud af luften. Forskere peger på flere kendte tilfælde, hvor computere og algoritmer mildt sagt har opført sig uheldigt. I 2011 steg prisen på en sjælden bog på Amazon i løbet af nogle uger til 23,7 millioner dollars, fordi to bogsælgeres pris-algoritmer overbød hinanden. I 2010 mistede aktierne på Wall Street hundreder af milliarder af dollars i værdi på få minutter på grund af en løbsk algoritme. Under Den Kolde Krig måtte mennesker flere gange gribe ind og handle mod anbefalingen fra computersystemer, der fejlagtigt konkluderede, at et atomangreb var i gang – mest berømt, da den sovjetiske officer Stanislav Petrov i 1983 undlod at udløse atomarsenalet, selv om hans overvågningssystem (fejlagtigt, som han rigtigt gættede) fortalte, at USA havde sat et atomangreb på Sovjetunionen i gang.

Endnu mere usikkert og uforudsigeligt bliver det hele af, at man formentlig ikke kan lave effektive autonome våben, der kan håndtere noget så kaotisk som en slagmark, uden maskinlæring, altså maskiner, der kan lære sig selv at blive dygtigere, mens de er i aktion.

Problemet med det er, at maskinlæring er uigennemskuelig for mennesker. Teknologien fungerer sådan, at man dybest set er nødt til at slippe kontrollen med, hvad maskinen lærer sig selv og hvorfor. Det indebærer, at vi vil kunne observere, hvad krigsmaskinerne gør, men aldrig forstå hvorfor. Medmindre altså softwareingeniører løser nogle helt fundamentale problemer med måden, kunstig intelligens fungerer på i dag.

Hvad taler for, at det hele måske ikke bliver så slemt, som man kan frygte?

Tja, bum, trods alt noget.

For det første vil der være modtræk til den nye teknologi. Støjsendere kan måske lamme små, Slaughterbot-agtige dronesværme ved at forplumre deres navigation og kommunikation, ligesom der spekuleres i lavpraktiske forsvarsmekanismer som net og rovfugle (!). Og hvad angår større kampdroner – fremtidens jagerfly – så kan de – ligesom jagerfly – stadig skydes ned af antiluftskyts. Det mindsker de nye våbens revolutionerende, destabiliserende og skræmmende potentiale noget – spørgsmålet er dog hvor meget.

Mere grundlæggende skal man derfor nok sætte sin lid til, at udviklingen af den ene eller anden grund bliver standset, før de selvtænkende våben kommer i brug.

Det kunne godt ske af rent militære årsager, som relaterer sig til det med maskinlæring og uforudsigelige algoritmer. For hvis robotterne kan begå fejl hurtigere, end mennesker kan nå at reagere, risikerer de også at slå deres egne ihjel, før nogen kan standse dem – hvilket er ret upraktisk set fra et militært synspunkt.

Men der er også stigende opbakning til et forbud mod at lade maskiner tage beslutninger om menneskers liv og død. Der er stadig ingen lande – ikke engang USA eller Israel – som er entydige tilhængere af fuldkommen autonome våbensystemer uden mulighed for menneskelig indgriben i beslutninger om liv og død. Kina har signaleret, at man mener, der er behov for en eller anden form for ny international lovgivning. 22 lande går officielt ind for et decideret forbud, mest markant Brasilien og Pakistan. Undersøgelser tyder på, at folk flest er på linje med tilhængerne af et forbud. Og det samme er – som nævnt – i vid udstrækning dem, der udvikler teknologien.

Så måske får vi faktisk en dag et forbud, som også de vigtigste militærmagter vil skrive under på eller i det mindste følge i praksis.

Men selv hvis vi ikke gør, er der dem, der mener, at den ny teknologi faktisk vil gøre krig sikrere og mindre beskidt. Modsat mennesker, pointerer de, lader maskiner sig ikke rive med af den slags stress eller følelser, som får mennesker til at overreagere eller begå krigsforbrydelser. Med tiden kan maskinerne måske endda blive dygtigere end os til at skelne mellem civile og militante. De kan også – modsat mennesker – programmeres til at risikere deres eget liv i en farlig situation frem for at gøre noget overilet for at redde sig selv.

Det er dog ikke argumenter, der overbeviser en kritiker som Mary Wareham fra Human Rights Watch.

Jeg tror, at alle våbensystemer, der nogensinde er blevet udviklet, er blevet udråbt som mere præcise, fordelagtige og militært effektive, men der er altid en bagside af medaljen,” siger hun.

Og den vigtigste er, at man krydser en moralsk grænse, når man tillader en maskine at tage et liv.”

Ud over de nævnte kilder bygger artiklen på et seminar om autonome våben hos Dansk Institut for Internationale Studier den 27. november 2017 med deltagelse af en stribe eksperter og en sekretariatsmedarbejder fra den FN-ekspertgruppe, der arbejder med regulering af autonome våben.

Nå, så kom det akavede øjeblik

Det er nu, vi bare siger det direkte: Bliv medlem, hvis du sætter pris på viden og nuancer. Prøv os for 0,- i 14 dage.

Bliv prøvemedlem