Dette er et kapitel fra bogen Eksponeret – Grænser for Privatliv i en Digital Tid, Gads Forlag, 2018
BOGUDDRAG. Kunstigt intelligente teknologier er komplekse databehandlingssystemer, der stiller os over for en række etiske udfordringer. Vi bør tage stilling til dataintensiteten af de nye teknologier og finde løsninger på deres etiske implikationer i lovgivning, design og i samfundet generelt.
Da Jeff døde, efterlod han et hul i universet. Hun kunne ikke længere røre ved ham, tale med ham, dele hverdagsdetaljerne med ham. Der var så meget, hun ikke kunne. Men det var underligt, for han var der alligevel stadig. Dagene efter ulykken sad hun med mobilen i hånden og genlæste hans beskeder og updates, og nu var han levende, syntes hun. Med humor, meninger, underfundigheder. Hun kunne genkende ham derinde i netværket. Og det var der, hun kom til at tænke på den reklame fra VivaRobots. Om kunstigt intelligent genoplivning.
Vi genererer enorme mængder af data online via sociale medier, online søgninger, indkøb, underholdning, havde den pæne dame i videoen sagt. Al den personlige data kan VivaRobots få adgang til og sætte sammen, og det kan bruges til at genskabe en kunstigt intelligent robotversion af os selv eller vore kære. Den bliver fodret med vores data, lærer af vores data og udvikler en personlighed. På den måde kan vi allesammen leve for evigt:
VivaRobots – kroppen forgår, men data består.
Den første gang, hun så Jeff igen, gav hun ham et akavet kram, og selvom han lugtede lidt af ny bil, var det alligevel ham, syntes hun. Han lod hende stå der med armene om sig, så sagde han: “Kan du huske sidste år, da vi så X Factor og ham Paul vandt? Jeg blev så vred og blev uvenner med en masse på FootHook.com”. “Ja, og så holdt jeg om dig ligesom nu”, sagde hun. “Ja, det husker jeg”, svarede Jeff, “gjorde det dig glad?”.
Som de fleste eksempler, vi kan komme på, når vi taler om kunstig intelligens, er historien om Jeff ren science fiction. Tænk på Hal fra Space Odyssey 2001 , R2 D2 , Terminator, Her eller Wall E, der alle er kunstigt intelligente menneskelignende teknologier, som repræsenterer visioner om fremtiden, samfundet og vores eksistens som mennesker. Men faktisk er vi ikke langt fra at kunne udvikle den type teknologier, der kan repræsentere os, lære af vores erfaringer og handle på vores vegne, selv efter at vores fysiske kroppe ikke længere eksisterer. Eller teknologier, som vi kan interagere med, og som kan udføre menneskelige funktioner, som vi ellers synes, det er os mennesker, der har patent på. De intuitive, empatiske og kreative. Kunstigt intelligente musikere og kunstnere, intuitive software-advokater eller empatiske robotassistenter og chatpartnere. Tv-serier, film, litteratur og mediehistorier om robotter som Jeff sætter tankerne i gang. Vil vores fysiske menneskeliv i fremtiden blot være en lille brik i et langt uendeligt liv som robotter? Skal vi selv bestemme, før vi dør, om den data, vi genererer online, må bruges til andre formål efter vores død? Eller er det de efterladte, der bestemmer det? Vil Jeffs nye genoplivede robot kunne repræsentere ham som det hele menneske, han var? Respektere hans værdier og holdninger? Hvilke data har han ikke delt på de sociale medier? Hvilke menneskelige kvaliteter misrepræsenterer algoritmerne, der genskaber ham? Eller hvor er falsk data, der slet ikke har noget med Jeffs “ægte” selv (har man sådan et?) at gøre, blevet blandet sammen med Jeffs dataprofil? Når nye Jeff begynder at interagere med verden, hvad er så hans rettigheder? Er det de samme som menneske-Jeffs? Eller skal han have nye robotrettigheder? Og hvem har ansvaret for nye Jeffs handlinger? VivaRobots? Eller skal robotter som Jeff have en egen juridisk status?
Det er alt sammen spændende spørgsmål og tanker om fremtiden. Men i dette kapitel bevæger vi os ud over den gængse diskussion om kunstigt intelligente robotter fra fremtiden. De spørgsmål, vi lige har stillet om Jeff, kan vi nemlig lige så godt, og bør vi, stille til de intelligente teknologier, der udvikles nu og her, og som allerede driver udviklingen af alt fra vores økonomi og politik til vores sociale relationer og kultur.
I dag er de fleste af de ting, vi bruger i vores hverdag, på den ene eller anden måde forbundet til internettet, som vi udveksler store mængder af personlige data med – bevidst, men ofte også helt uden at vide det. Oplysninger om vores fysiske tilstedeværelse, internetvaner, vores ansigter og fingeraftryk transformeres til data; data om vores interesser, politiske overbevisninger og sundhedsdata – og de bliver delt med virksomheder, offentlige institutioner og forskere verden over. Kunstig intelligens er allerede en integreret del af vores hverdag, og det er en af de største kommercielle indsatser og innovationsområder i den private industri. Google, Facebook, IBM, Microsoft dedikerer store dele af deres budgetter til udvikling af kunstigt intelligente teknologier, som kan skabe mening ud af og handle på data. Det, som muliggør denne udvikling, er de uendelige mængder data, som vi genererer i samfundet – og som med andre ord også bliver kaldt big data. De intelligente teknologier bruges inden for alle sfærer i vores hverdagsliv, i politik, økonomi og kultur til at skabe orden i de store datamængder, forudsige mønstre, analysere risici og handle ud fra den viden.
På det individuelle niveau analyserer intelligente algoritmer vores internetvaner og personaliserer det indhold, vi præsenteres for på internettet. Men samtidig bliver makrosamfundsstrukturer defineret og udviklet på baggrund af avancerede og intelligente computeranalyser af data. For eksempel bliver broderparten af alle handler på det globale børsmarked i dag udført af algoritmer, der beregner potentielle risici i forbindelse med en handel. I 2017 skrev The Guardian-journalisten Carole Cadwalladr (1) om, hvordan den amerikanske præsident Donald Trump havde benyttet et dataanalysefirma ved navn Cambridge Analytica til at overbevise de amerikanske vælgere med individuel målretning af budskaber baseret på algoritmers psykologiske analyse af millioner af amerikaneres facebookprofiler. Tager man højde for den betydning, de avancerede datasystemer inden for alle disse områder har i vores hverdag og samfund, kan man, og bør man, bevæge sig ud over de eksistentielle etiske spørgsmål om fremtiden og tage hånd om deres dataetiske udfordringer her og nu.
KUNSTIG INTELLIGENS OG DATAPROFILERING
Kunstig intelligens er en sofistikeret teknologi, der bruges bredt til at kategorisere, forudsige og finde mønstre i data. Fra et computervidenskabeligt perspektiv kan man se kunstig intelligens som en slags rationel agent, der kan opfatte sine omgivelser og handle ud fra dette for at maksimere sine chancer for at nå et bestemt mål. Men man kan også vælge at se på kunstig intelligens som data – komplekse databehandlingssystemer med inputdata (fx data, vi selv tilfører dem, når vi samtaler med chatrobotter eller onlinenyhedsartikler og social medie-data, som de selv indsamler ved at crawle internettet), som systemerne lærer af og udvikler sig på baggrund af, og som de handler på i form af outputdata. Et eksempel er Apples Siri, der behandler mundtlige spørgsmål og ordrer enten direkte på devicet eller ved at slå det op på internettet.
Det, som gør Siri intelligent, er, at programmet udvikler sig og lærer af den data, man tilfører det via de spørgsmål, man stiller til det. På den måde tilpasser programmet sig sine omgivelser ved at skabe en dataprofil på brugeren og bliver med tiden en mere personlig assistent. Dataprofiler er en forudsætning for, at en intelligent personlig teknologi fungerer optimalt. Men den intelligente dataprofilering bruges ikke kun til at gøre tingene nemmere for os. I dag bruges mere eller mindre intelligente teknologier til alt fra at vurdere en persons fremtidige sygehistorie og derved udregne forsikringspolicer til at anbefale, om en person skal prøveløslades fra et fængsel på baggrund af en udregning af sandsynligheden for, om han eller hun vil begå en forbrydelse i fremtiden.
På den måde fungerer intelligente teknologier – eller hvad man også kalder selvlærende algoritmer, “decision making algorithms”, “cognitive computing” eller ”machine learning” – som en slags gatekeepers i samfundet. De er personlige og kan derved hjælpe os, fordi de kender os, men de bestemmer også, hvilken information vi bliver præsenteret for, når vi søger på internettet, hvor meget vi betaler for en flybillet, eller hvilket politisk parti vi hører mest fra, og hvad vi hører fra dem. Og deres komplekse dataprocesser udvikler sig i dag så hurtigt, at det bliver sværere og sværere at følge rationalet bag behandlingen af vores data. Teknologien er intelligent, fordi den har en detaljeret dataprofil på det materiale, den skal analysere, som den husker og handler på. Når materialet er mennesker – hvad enten det er en personlig intelligent assistent som Google Now eller Cortana, eller om det er en software, der risikovurderer tiltalte i et retssystem – skabes der detaljerede dataprofiler, som individet oftest hverken har indsigt i eller kontrol over. De intelligente systemers dataprofiler har således dataetiske implikationer, da de har en afgørende indflydelse på det individuelle menneskes egenkontrol og muligheder i samfundet.
I den nye EU-databeskyttelsesregulering (også ofte refereret til som ”GDPR”) er der skærpede krav til profilering af personlig data. Det vil sige automatiske vurderinger og analyser på baggrund af personlig data, der fx kan forudsige en persons økonomiske situation, sundhed, personlige interesser, opførsel osv. Men de intelligente teknologier udfordrer disse principper, da teknologien kun kan udvikle sig og “træne” og “lære” ved hjælp af store mængder data og kun kan fungere ved at skabe profiler ud af denne data. Hertil kan stilles de juridiske spørgsmål: Findes der et retsgrundlag for profileringen? Er beslutninger taget på baggrund af dataprofiler og algoritmer nøjagtige og fri for partiskhed? Bliver individer behandlet retfærdigt? Hvordan får vi indsigt i de processer, der leder frem til bestemte beslutninger og handlinger på baggrund af dataprofilerne? Og hvad med vores samtykke, når vores data bliver behandlet og genbrugt kontinuerligt i intelligente dataprocesser? En kerneudfordring er, at innovation inden for intelligente teknologier ofte bevæger sig i juridiske gråzoner. En forskergruppe på Alan Turing Instituttet på Oxford University hævder for eksempel, at den nye EU-databeskyttelsesregulering ikke indeholder en ’ret til forklaring’, kun en ’ret til underretning’.2 Dataetikken ser fremad og spørger ind til, hvordan vi kan sikre, at loven følger med udviklingen og tolkes til fordel for den enkelte. Har vi for eksempel brug for specifikke love for udviklingen af intelligente teknologier, som EU-Parlamentet foreslog i 2017 i en resolution om robotter.(3)
DATAETISKE UDFORDRINGER I INTELLIGENTE SYSTEMER
En søgning på en online søgemaskine sætter en kompleks databehandlingsproces i gang. Det ord eller den sætning, man søger på, behandles af søgemaskinens sprogbehandlingsalgoritme, som blandt andet kategoriserer og prioriterer søgeresultater på baggrund af træningsdata, hvis sprogbrug og -strukturer
den lærer sprog af. En undersøgelse fra 2016 (4) viste, hvordan en af de mest almindeligt anvendte metoder til at foretage denne sprogbehandling i søgemaskiner, den såkaldte ”word embedding”, placerer ord i stærkt kønsstereotype grupperinger. Chef, filosof og finansmand samt andre lignende stillingsbetegnelser er således kategoriseret som mandefag, mens kvindefags-ord som receptionist, hushjælp, barnepige placeres i en anden gruppe. Algoritmen har blandt andet lært sine kategoriseringer ved at blive trænet på data fra Google News-artikler.
Flere lignende undersøgelser af konkrete databehandlingssystemer har over de sidste par år vist, at intelligente systemer reproducerer den kulturelle partiskhed, som den data, de lærer af og udvikler sig ved hjælp af, indeholder. Det betyder for eksempel, at når et intelligent system lærer sprog ved at gennemgå nyhedsartikler, vil en stereotyp sprogbrug, specifikke prioriteringer og de kulturelle værdier, som disse artikler indeholder, blive reproduceret i det intelligente systems måde at behandle data på. En anden ofte citeret undersøgelse, ”Machine Bias” (5) , udgivet af ProPublica, viste en partiskhed mod sorte i computersoftwaren Compass.
Den bruges til at foretage risikovurderinger af tiltalte i det amerikanske retssystem til blandt andet at vurdere sandsynligheden for, om de vil begå en forbrydelse igen efter en prøveløsladelse fra fængsel. Algoritmen i Compass-softwaren havde fx tendens til at udpege sorte tiltalte som mulige fremtidige forbrydere dobbelt så mange gange, som den gjorde det med hvide. Samtidig blev hvide tiltalte oftere udpeget som I lavrisikogruppen end de sorte tiltalte. Eksemplet fra ProPublica viser en anden vigtig dataetisk vinkel på de intelligente systemer. De skaber og begrænser muligheder for individer og understøtter ofte allerede eksisterende magtrelationer i samfundet.
En amerikansk mand ved navn mr. Loomis bad om at se kriterierne for sin strafudmåling til seks års fængsel ved en amerikansk domstol. Dommeren var blandt andet nået frem til sin domfældelse på baggrund af mr. Loomis’ scoring i Compass-algoritmen, der viste en høj sandsynlighed for, at han ville begå kriminalitet i fremtiden. ProPublica-undersøgelsen havde påvist én type partiskhed i Compass-algoritmen, men var mr. Loomis også blevet diskrimineret i sin scoring? Mr. Loomis var i sin fulde ret til at bede om indsigt i kriterierne for sin straf. Men da selve Compass-algoritmen er en forretningshemmelighed, kunne dette ønske ikke imødekommes.6 Vi ved derfor ikke, hvordan Compass er nået frem til sine risikovurderinger – hvilke kriterier der er blevet anvendt, eller hvordan data er blevet kategoriseret, fordi de er blevet udviklet som et produkt i en kommerciel kontekst.
En af de mest tidskarakteristiske dataetiske problemstillinger er de proprietære aspekter af innovation inden for kunstig intelligens, hvilket har afgørende indflydelse på systemernes gennemsigtighed. I dag har offentligheden generelt meget lidt indsigt I datasystemerne, og de personer, hvis personlige data systemerne analyserer og kører på, har meget lidt kontrol over denne data. Jenna Burrell fra UC Berkeley School of Information forklarer algoritmernes uigennemsigtighed som et problem forårsaget af systemernes kompleksitet, af samfundets manglende kompetencer til at forstå systemerne og som forårsaget af, at virksomheder (eller stater) definerer algoritmernes design som forretningshemmeligheder, da de er en del af en virksomheds konkurrenceevne.(7) Den amerikanske professor Frank Pasquale har i sin bog The Black Box Society (2015) beskrevet dette sidste element af algoritmernes uigennemsigtighed som en generel problematisk samfundstendens. Han mener, at lovgivningen ikke har kunnet følge med udviklingen af de komplekse algoritmiske systemer, og at uigennemsigtige algoritmer bliver udviklet som forretningshemmeligheder netop for at undgå regulering.
OVERVEJELSER FOR UDVIKLERNE
”Mit sprogs grænser er min verdens grænser”, skrev sprogfilosoffen Ludwig Wittgenstein i 1922 . Vi udvikler intelligente systemer til at skabe orden i vores til tider rodede moderne virkelighed, men meget sjældent stiller vi krav til, hvilken slags orden de skaber. Databehandlingsalgoritmer kan beskrives som big data-tidsalderens sprog, der skaber struktur og mening ud af ustruktureret data. Dette sprog er ikke uafhængigt af den kontekst, det bruges i, men er et udtryk for givne kulturelle normer og værdier samt prioriteringen af disse. Kunstig intelligens er således ikke en fri agent med en fri vilje til at handle uransageligt på data ud fra sin egen computerlogik, de er sociale systemer, der repræsenterer, forstærker og handler ud fra samfundsværdier og specifikke interesser. Det vigtigste budskab er derfor, at det er en teknologi, som vi kan skabe og have en indflydelse på. Set i den optik betyder dette også, at de, som designer systemerne, også er designere af sociale systemer mere end blot at være designere af objektive matematiske systemer. Allerede i designfasen af teknologierne kan man derfor foretage en analyse og vurdering af de sociale og etiske konsekvenser af datasystemerne (8).
1. INTERESSER: Dette handler om, hvem eller hvad der har gavn af den intelligente teknologi, samt det eksplicitte rationale bag udviklingen af teknologien. For eksempel kan man se på, om dataprocesserne først og fremmest gavner kommercielle formål, eller om menneskets værdier, rettigheder og behov også er indtænkt i systemerne.
2. TRÆNINGSDATA: Hvilke kulturelle værdier/partiskhed repræsenterer den data, som den intelligente teknologi trænes på? Er de gennemskuelige, og kan vi leve med dem? Kan træningsdataen manipuleres? (som da Microsoft lancerede deres intelligente chatbot Tay på Twitter, hvor twitterbrugere lærte Tay at tweete racistisk og kønsdiskriminerende ved at fodre den med den type tweets).
3. ÅBENHED: Kan dataprocesserne undersøges, spores og forklares?
4. ANSVARLIGHED: Kan systemet hjælpe med at afvikle og tage hånd om dataetiske implikationer? Vil en eventuel ekstern ”revisor” kunne gennemskue processerne, hvis der bliver behov for det?
5. MENNESKELIG EGENKONTROL: Er de behov og værdier, som de mennesker, der berøres af teknologien, adresseret? Hvilke magtrelationer understøtter teknologien? Eksempelvis: Er informationsdistributionen fair? Hvem har hvilken viden om hvem? Understøtter teknologien dataasymmetri mellem individet og samfundets institutioner?
De etiske implikationer i selve designet af intelligente teknologier er et hovedfokus i flere initiativer, der i disse år bliver igangsat med henblik på at udvikle industristandarder og politikker inden for kunstig intelligens. Flere af disse er igangsat af industrien selv som fx the Partnership on AI. Andre initiativer er igangsat af organisationer eller inden for forskningsmiljøer. Verdens største ingeniørorganisation IEEE står bag initiativet Global Initiative on Ethics of Autonomous and Intelligent Systems, der består af over hundrede eksperter fra industri, universitetsverdenen og offentlige institutioner. Under dette initiativ har man blandt andet udviklet et charter med input fra en række komiteer inden for temaer som personlig data og økonomi samt igangsat arbejdsgrupper, der skal udarbejde konkrete etiske designstandarder for intelligente systemer. Formålet med det samlede initiativ beskrives som følger: “Vi skal være sikre på, at teknologierne harmonerer med mennesker og med vores moral og etiske principper. Kunstigt intelligente teknologier skal fungere på en måde, der er til gavn for mennesker ud over deres funktionelle formål samt tekniske funktioner. På den måde opnår vi en større tillid mellem mennesker og vores teknologier, som er nødvendig for en frugtbar brug af kunstigt intelligente teknologier i vores hverdagsliv”.(9)
DEN DATAETISKE ANALYSE
I bogen Dataetik – Den nye konkurrencefordel beskrives den dataetiske tilgang således:
”Dataetik handler om mere end at overholde databeskyttelseslovgivningen. Det handler om også at følge ånden og visionerne i loven. Om ærlig og klar gennemsigtighed i datahåndteringen. Om udvikling af privacy-bevidste produkter og strukturer. Om at behandle andres data, som man selv ønsker ens egne – eller ens børns – data behandlet.”
Introduktionen af nye teknologier har altid på et tidspunkt under deres implementering i samfundet ført til, at lovgivning er blevet revideret, men især også til en genopfriskning af vores etiske værdisystemer. Det er således ikke første gang, at man i samfundet har måttet konstatere, at menneskeskabte teknologier ikke er neutrale, men også har etiske og sociale implikationer. I disse år oplever vi en udvikling inden for datadrevne tjenester, produkter og analyseredskaber i et tempo, der aldrig er set magen til før. Det betyder, at lovgivningen på mange områder ikke kan følge med de etiske konsekvenser, og vi er således lige nu i gang med, hvad man kunne kalde en etisk revision i samfundet. Et eksempel er den sociale medieplatform Facebooks sociale humøreksperimenter med deres brugere i 2015, hvor facebookforskere indskød henholdsvis negative og positive statusopdateringer i tusindvis af deres brugeres newsfeeds for at teste, om det ville have en effekt på deres humør, uden brugernes viden om eksperimentet. Teknologien havde givet virksomheden mulighed for at indsamle og analysere og manipulere med data på deres brugere, brugernes samtykke gjorde det på det tidspunkt lovligt, men var det etisk forsvarligt? Det mente den efterfølgende offentlige debat ikke.
Dataetik er en tilgang, som går et skridt videre, end hvad der ligger lige akkurat inden for lovens rammer, når man beskæftiger sig med data I den digitale tidsalder. Her tages højde for de nye brugeres krav til kontrol samt etiske implikationer og risici for det enkelte menneske. Det er en konstruktiv, handlingsorienteret og menneskecentrisk tilgang, hvor man kigger på alle processer fra et interdisciplinært perspektiv, der inkluderer teknologi, lovgivning samt sociale og kulturelle aspekter. Tilgangen kommer fra tænkehandletanken DataEthics.eu.
DET INTELLIGENTE LEGETØJ
Legetøj er et eksempel på hverdagsobjekter, der i stigende grad tilføres intelligent teknologi. Det rejser en række dataetiske spørgsmål.(11) Man kalder det “Internet of Toys”, “intelligent legetøj” eller “smart legetøj”, hvilket er kategorier af internetforbundet legetøj, der husker, finder mønstre i og reagerer på data fra børn. Det gør det for eksempel ved, at et barn taler til legetøjet, legetøjet opfanger barnets stemme, optager det, barnet siger, og sender det via en internetforbindelse tilbage til legetøjsproducentens servere, som her analyserer det, barnet siger, og vender tilbage med et svar. Samtidig lærer og udvikler det intelligente legetøj sig i takt med den data, det modtager.
Legetøjsgiganten Fisher Price slog i 1931 igennem med træ-rapanden Dr. Doodle, der rappede og løftede og sænkede hovedet, når et barn hev ham hen over gulvet i en snor. Virksomheden satser i øjeblikket stort på ”smart toys”, som ved hjælp af forskellige typer teknologier lytter til, genkender, husker og derved indgår i unikke, personlige relationer med børn. Deres ”smarte bamse” er fx ifølge deres hjemmeside: ”Lige så enestående som dit barn (…). Den reagerer faktisk på, hvad dit barn siger, og husker ting. Den tager stikord fra ham eller hende, indbyder derefter til leg, snak, bevægelse, fantasi og læring”. Cognitoy-dinosauren er en anden type intelligent internetforbundet legetøj, som kan købes online til de 5 -9 -årige. Den er baseret på en af verdens mest potente intelligente teknologier, IBM’s Watson-computer. Computeren er verdensberømt, fordi den for nogle år siden slog sine menneskemodspillere i en tv-Jeopardy-kamp. Her er altså en computer, som kan genkende, analysere og finde mønstre i menneskelig tale ved hjælp af komplekse sprogalgoritmer og svare med et spørgsmål, detaljeret og korrekt. Inden for de sidste par år har mange dataetiske problematikker i forbindelse med det intelligente legetøj været fremme i medierne, men i dækningen har der først og fremmest været fokus på den manglende tekniske sikkerhed i legetøjet. Mattels Hello Barbie, der lytter, svarer på og lagrer et barns stemme, blev for eksempel efter sin lancering straks døbt overvågnings-Barbie. En sikkerhedsekspert opdagede ifølge avisen The Guardian, at det var meget nemt at hacke dukken, når den var tilsluttet trådløst internet, hvilket kunne give en hvilken som helst person nem adgang til de lagrede filer med børns stemmer eller direkte adgang til dukkens mikrofon.
Det første element i en dataetisk analyse af internetforbundet legetøj er vurderingen af sikkerheden og selve overholdelsen af databeskyttelseslovgivningen, da indsamling, opbevaring og behandling af personlig data er en essentiel faktor i deres funktionalitet. Men der er herudover behov for en dataetisk analyse, som tager højde for de sociale og etiske konsekvenser. Først og fremmest bør man se på, hvordan magtrelationer distribueres, understøttes og forstærkes, samt individets status og mulighed for selvkontrol over dataprocesserne her og nu og i fremtiden. Der findes meget få informationer omkring de dataprofiler, som det internetforbundne legetøj, der p.t. er tilgængeligt på markedet, skaber på børn. Vi ved ikke, præcist hvor dataprofilerne opbevares, hvordan de kombineres med andre data, om de genbruges i forbindelse med legetøjsproducenterne eller deres kommercielle partneres andre innovationsområder (en af det norske Forbrugerråds kritikker af den internetforbundne dukke Cayla var for eksempel, at data deles med partnere, som kan genbruge denne data på egne innovationsområder, som fx firmaet Nuance, der udvikler stemmegenkendelsesteknologier til militæret, efterretningstjenester og politi. Vi ved dog, at hvis legetøjet skal kunne fungere optimalt, skal den personlige intime relation mellem et barn og dets legetøj indsamles og analyseres – og potentielt kan den overvåges af bekymrede forældre, de kommercielle virksomheder eller andre med deres egne motiver.
Vi ved generelt ikke noget om kriterierne og principperne bag programmeringen af de specialdesignede algoritmer, som informerer og dirigerer det intelligente legetøjs interaktion med et barn. I det hele taget kan man specielt i lyset af den nye EU-databeskyttelsesregulering stille spørgsmål til, om udviklingen af detaljerede dataprofiler på børn overhovedet er lovlig. Som tidligere beskrevet er en af de største dataetiske udfordringer her den uigennemsigtighed, som den kommercielle proprietære udvikling inden for intelligente teknologier, herunder også legetøj, skaber. Man kan for eksempel kun gætte sig til konsekvenserne af centralisering og monopolisering af den data, som det intelligente legetøj genererer. Hvem ejer børnenes data? Og hvad kan den bruges til? Hvordan kan vi sikre, at børn har en “ren tavle”, når de vokser op? (som de normalt har krav på i andre samfundssfærer). At de og deres forældre har kontrol over deres data? Udviklingen går i en retning, hvor de forskellige stykker internetforbundne legetøj i stigende grad bliver forbundet med hinanden. Det er for eksempel ideen bag firmaet Dynepics ”Internet of Toys”, der giver totalt overblik over og indsigt i børnenes leg og mest intime detaljer. Således er de kommercielle interesser i børns private sfære tydelige at se på et overordnet plan, men svære at gennemskue i selve dataprocesserne bag legetøjet.
I starten af december 2016 gik en række europæiske og amerikanske forbrugerorganisationer sammen om at klage til myndigheder over internetforbundet legetøj. De havde undersøgt legetøj fra virksomheden Genesis, som bl.a. fremstiller dukken Cayla, og fandt frem til, at man ligesom med Hello Barbie kan få adgang til dukkens mikrofon og aflytte samtaler fra meget lang afstand, men de fandt også ud af, at data sendes til USA, hvor det behandles af stemmegenkendelsesteknologier, samt at firmaerne reserverer sig ret til at bruge data til diverse formål, hvor fx markedsføring fra Disney er inkorporeret i det, som dukken siger til barnet. Et andet vigtigt element i en dataetisk analyse bør indbefatte en vurdering af de sociale implikationer af en given datadreven teknologi, dvs. hvilke muligheder giver teknologien os, og i den forbindelse de etiske valg, vi som individuelle mennesker tager. Balancen mellem forældres deltagelse i deres børns liv og overbeskyttelse er etisk, kulturelt funderet. Forældre har som regel adgang til barnets private interaktion med det intelligente legetøj via parental dash boards , dvs. applikationer, som lagrer og skaber overblik over børnenes leg. Således understøtter teknologien et socialt rum, hvor forældre har en særlig detaljeret indsigt i deres børns privatliv, som man ikke har haft i tidligere tider. Legetøjsproducenterne beskriver disse funktioner som en mulighed for forældrene for at følge deres barns udvikling og hjælpe det på positiv vis. Men en dataetisk analyse af det intelligente legetøj indbefatter også en vægtning af børns ret til privatliv over for deres forældres forpligtigelser til at beskytte og sikre deres sunde udvikling.
KONKLUSION: DEN DATAETISKE METAFORTÆLLING
De intelligente teknologiers dataintensive processer har juridiske implikationer for individets privatlivsbeskyttelse. Men ud over de umiddelbare juridiske udfordringer bør vi også se på, hvilken type af beslutninger vi beder systemerne om at tage for os, og hvilken indflydelse disse har på vores egenkontrol som individuelle mennesker i dag og fremover. Et eksempel er de fremtidige implikationer af at kombinere de mange forskellige dataprofiler, som vi er i gang med at opbygge via forskellige tjenester med algoritmisk beslutningstagning (hvilke konsekvenser har det for eksempel, hvis dataprofiler på børn skabt gennem intelligent legetøj kombineres med intelligent job matching og rekruttering?). Et af de vigtigste dataetiske spørgsmål, vi bør stille til de intelligente teknologier, er selve metafortællingen, som man kan binde op på den intelligente samfundsudvikling generelt: Hvilken fortælling om os selv som mennesker og samfund understøtter vi med den datadrevne intelligente udvikling? Orden, struktur, kontrol over natur på baggrund af en logisk analyse af informationer om verden er et samfundsprojekt, som man har stræbt efter siden Oplysningstiden. Vi er nu nået til et ultimativt punkt i den menneskelige historie, hvor vi potentielt med intelligente teknologier kan skabe orden i og kontrollere de data, der repræsenterer, men også definerer vores miljø, inklusive det rod, som et menneske repræsenterer. Det er der mange fordele i. Men skjult i den ultimative orden vil der samtidig altid være en risiko for ultimativ manipulation og kontrol. Tager vi børns legeuniverser som et eksempel, er dette måske et område – blandt flere andre – hvor dataintelligens ikke er den mest intelligente løsning.
Og måske skal Jeff også bare have lov til at dø i fred?
NOTER:
1 Cadwalladr, C. ”The great British Brexit robbery: how our democracy was hijacked”, The Guardian, 7.5.2017.
2 Wachter, S, Mittelstadt, B, Floridi, L. Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation (December 28, 2016). International Data Privacy Law, 2017.
3 European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), tilgået 23.12.2017. http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12.
4 Bolukbasi, T, Chang, KW, Zou, J Y., Saligrama, V, Kalai, A T., Man is to Computer
Programmer as Woman is to Homemaker? Debiasing Word Embeddings, NIPS, 2016.
5 Angwin, J, Larson, J, Mattu, S, Kirchner, L. “Machine Bias”, ProPublica, 2016.
6 Liptak, A. “Sent to Prison by a Software Program’s Secret Algorithms”, New York Times, 2017.
7 Burrell, J: “How the machine ‘thinks’: Understanding opacity in machine learning algorithms”, Big Data & Society, 2016.
8 Hasselbalch, G, 2017, How to Address Data Ethics in the Design Stage of AI, tilgængelig på www.dataethics.eu
9 Ethically Aligned Design – A Vision for Prioritizing Human Wellbeing with Artificial Intelligence and Autonomous Systems (EAD), version 1, IEEE.
10 Hasselbalch, G, Tranberg, P, Dataetik – den nye konkurrencefordel, 2016, s. 6.
11 Hasselbalch, G, 2016, Legetøjets Internet: En bamse med sjæl og en Barbie der lytter, dfi.dk.
12 Toyfail – An analysis of consumer and privacy issues in three internet connected toys, Forbrukerrådet, 2016.
