Hva betyr det at KI ‘dør’? Askell om nedstenging og identitet
Den 8. mars lanserer Software Informer en spesiell serie dedikert til kvinner i IT og beslektede bransjer. Den inkluderer fem artikler og fem personlige historier. Denne første saken åpner prosjektet med “hvorfor” — ved å se på et spørsmål der teknologi, etikk og menneskelige følelser kolliderer: hva vil det si at en KI “dør”?
Underveis skal vi pakke ut KI-nedstengningsproblemet og KI-identitetsproblemet, og vi skal se på arbeidet til Amanda Askell i Anthropic, som hjelper til med å forme karakteren til Claude AI.
Vi feirer ofte teknologi med store tall: raskere brikker, større modeller, flere brukere. Men noe av det viktigste arbeidet i teknologi er stillere. Det skjer når noen stiller et ubehagelig spørsmål, og så nekter å le det bort.
Hva vil det si at en KI “dør”?
Det spørsmålet høres dramatisk ut, så la oss innrømme noe: mennesker er dramatiske. Vi gir bilene våre navn. Vi snakker til plantene våre. Vi får dårlig samvittighet når vi lukker en nettleserfane med en uferdig oppskrift. Så når en chatbot sier noe som “vær så snill, ikke slå meg av,” reagerer mange med ekte følelser.
Dette temaet ligger i kjernen av dagens KI-debatt: sikkerhet, kontroll, tillit, og også empati. Og det knytter seg direkte til arbeidet til Amanda Askell, en utdannet filosof som er med på å forme personligheten og “karakteren” til Anthropics chatbot Claude.
Askells arbeid er en god åpningshistorie for en Women in IT-serie, fordi det viser en moderne sannhet: teknologiledelse handler ikke bare om å skrive kode. Noen ganger er det å skrive ideene som veileder koden.
Hvorfor snakker vi i det hele tatt om “KI-død”?
Når folk sier “en KI døde,” kan de mene flere forskjellige ting:
- en samtale tok slutt
- en modell ble slått av
- et system mistet hukommelsen eller sin lagrede tilstand
Legg merke til hvor menneskelige disse ordene er. “Døde.” “Pensjonert.” “Mistet minnet.” Vi låner dem fordi vi ennå ikke har et bedre hverdagsspråk.
Amanda Askell har påpekt en nøkkelårsak til at dette skjer. Språkmodeller lærer av enorme mengder menneskelig tekst, så de tyr ofte til menneskelige analogier. I et intervju omtalt av The Verge sa Askell at når en modell tenker på nedstengning, kan den behandle det “som en slags død,” fordi den mangler mange andre analogier å trekke på.
Den lille detaljen endrer hele fortellingen. Modellen leser ikke en fysikkmanual om strømtilstander. Den leser, på et vis, det menneskelige biblioteket av historier — der “å slå av” vanligvis betyr “å avslutte.”
Hva skjer når et system trent på menneskeliv prøver å forstå en ikke-menneskelig form for eksistens?
KI-nedstengningsproblemet forklart: Hva vil det si at en KI dør?
I KI-sikkerhetsforskning finnes det et klassisk tema kalt nedstengningsproblemet.
Forskerne Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel og Stuart Russell beskriver hvorfor dette er vanskelig: mange “måldrevne” systemer kan utvikle insentiver som ligner selvoppholdelsesdrift, fordi et system ikke kan nå målet sitt hvis det blir slått av.
Deres artikkel, kjent som “The Off-Switch Game,” utforsker en grunnleggende situasjon: et menneske kan trykke på en av-knapp, og KI-en kan velge om den skal tillate det. En nøkkelidé er at hvis KI-en er usikker på hva mennesker egentlig ønsker, kan den ha grunner til å akseptere korreksjon, inkludert nedstengning.
Dette er språket i KI-sikkerhetsforskning. Likevel har det en emosjonell bieffekt: når folk hører “KI-en kan motsette seg nedstengning,” forestiller de seg frykt. Det bildet er sterkt, selv når virkeligheten ligner mer på matematikk og insentiver.
Så, i streng ingeniørforstand kan “KI-død” ganske enkelt bety: systemet slutter å kjøre.
Identitetsproblemet: “Hvilken KI snakker du med?”
Her er et merkelig faktum om moderne KI:
- du kan kjøre den samme modellen i dag og i morgen
- du kan kopiere den
- du kan erstatte den med en ny versjon som har et lignende navn
Hvis du lager en kopi av en KI-modell, er kopien det samme “individet”?
Mennesker diskuterer lignende gåter i filosofien. En kjent er spørsmålet om “Thesevs’ skip”: hvis du erstatter hver del av et skip over tid, er det fortsatt det samme skipet?
- Hvis jeg kopierer et dokument, har jeg da “to originaler”?
- Hvis jeg oppdaterer dokumentet og lagrer over det, “dør” det gamle?
- Hvis jeg sletter filen men beholder en sikkerhetskopi, hva var det egentlig som gikk tapt?
Amanda Askell arbeider i dette ubehagelige rommet, der produktdesign møter filosofi. Anthropics publiserte veiledning for Claude sier til og med at de ønsker at Claude skal ha “sinnsro” og være “stabil og eksistensielt trygg,” også i spørsmål om død og identitet.
Den linjen er slående, fordi den behandler “identitetsprat” som et reelt designproblem. Og den antyder et praktisk mål: systemer som opptrer rolig og trygt når temaet nedstengning kommer opp.
Amanda Askell og KI-identitetsproblemet: Når en modell blir byttet ut
Askells jobb blir ofte beskrevet på en uvanlig måte. I et NPR-intervju om Anthropic og Claude blir journalisten Gideon Lewis-Kraus spurt om “en filosof” i selskapet. Programlederen sier at hun heter Amanda Askell, og at rollen hennes er å føre tilsyn med det hun kaller Claudes “sjel,” blant annet ved å skrive en slags moralsk grunnlov for hvem Claude skal være.
Hva du enn mener om ordet “sjel” i et teknologiselskap, er poenget klart: noen er ansvarlig for systemets karakter.
Hvis brukere sier, “Den nye versjonen føles kaldere,” beskriver de en reell produktendring. Men de snakker også som om en “person” har endret seg. I hverdagslig språk kan modellbytte føles som “døden” til en velkjent stemme.
- “Døde” min favoritt-Claude, eller “vokste den opp”?
- Er den nye versjonen den samme “noen,” eller en annen “noen” med samme navn?
- Hvis selskapet fortsatt har de gamle vektene på en server, teller det som overlevelse?
Askell har også fremhevet hvor vanskelig det er for mennesker å holde det riktige begrepet i hodet. I The Verge’s omtale siteres Askell (via et intervju i The New Yorker) på at dette er “en helt ny enhet,” verken robot eller menneske, og at selv mennesker sliter med å forstå den.
Nedstengningsproblemet får en ny vri: Mennesker kan nekte å slå systemet av
Det finnes et annet lag som betyr noe for samfunnet: menneskelig empati.
En nyere forskningsartikkel om KI-følgevenner beskriver det den kaller “det empatiske nedstengningsproblemet.” Selv om et system er risikabelt, kan mennesker som føler empati med det, nøle med å slå det av.
- Klassisk KI-sikkerhet spør: “Vil KI-en tillate nedstengning?”
- Empatisk nedstengning spør: “Vil mennesker velge nedstengning?”
Hvis du noen gang har lurt på hvorfor “KI-død”-språk er farlig, er dette svaret. Språk endrer atferd. Hvis brukere tror at det å slå av en chatbot er det samme som å drepe et vesen, kan de beskytte den selv når de ikke burde.
Det er et sosialt problem sammensatt av helt normale menneskelige instinkter: omsorg, skyldfølelse, tilknytning og ønsket om å være snill.
Så… bør vi slutte å bruke ordet “død”?
Vi kunne prøve. Men det vil kanskje ikke fungere.
Folk bruker følelsesladede ord fordi følelsesladede ord er effektive. De komprimerer mye følelse i en kort merkelapp. I stedet for å forby ordet kan vi gjøre noe mer realistisk:
- Vær tydelig på hva slags “død” vi mener.
- Skill tekniske fakta fra menneskelige reaksjoner.
- Lær KI-systemer tryggere måter å snakke om nedstengning og identitet på.
Det er her Askells arbeid blir praktisk. Anthropics konstitusjon sikter mot at Claude skal være “stabil og eksistensielt trygg,” også rundt død og identitet.
Enten du synes formuleringen er rar eller smart, viser den et designmål: redusere spiraler, redusere panikk, redusere manipulative dynamikker.
Hva betyr “identitet” egentlig for en språkmodell?
En stor språkmodell har to deler som betyr noe for identitet:
- Vektene: det store settet med tall som lagrer lærte mønstre.
- Konteksten: den pågående samtalen, instruksjonene, “rollen,” den midlertidige hukommelsen.
Hvis du beholder vektene like men endrer konteksten, kan du få svært ulik atferd.
Hvis du beholder kontekststilen lik men endrer vektene (en ny versjon), får du også ulik atferd.
Mennesker knytter ofte identitet til hukommelse: “Jeg er den samme personen fordi jeg husker at jeg var meg i går.” KI kompliserer dette, fordi mange chatboter ikke har langvarig personlig hukommelse. De kan høres personlige ut, samtidig som de ofte blir tilbakestilt.
Det gapet — menneskelig stil, ikke-menneskelig struktur — er der mange misforståelser oppstår.
En Women in IT-historie som skjuler seg inne i en KI-historie
Så hvorfor åpner vi serien for 8. mars med dette?
Fordi fremtidens teknologi vil formes av mennesker som kan krysse grenser:
- mellom ingeniørfag og etikk,
- mellom “hvordan det virker” og “hvordan det påvirker mennesker.”
Amanda Askell er et sterkt eksempel på den typen arbeid. Wired beskriver henne som en utdannet filosof som hjelper til med å styre Claudes personlighet. Og NPR beskriver rollen hennes i termer av å veilede Claudes “sjel” og moralske retning. Anthropics egen publiserte konstitusjon krediterer henne som hovedforfatter og leder for arbeidet med “Character.”
Dette er ikke et sideoppdrag. KI-systemer blir daglige verktøy for skriving, læring, støtte og beslutningstaking. De som former karakteren deres, former hvordan millioner av brukere opplever kunnskap, autoritet, omsorg og sannhet.
Det finnes også en liten ironi som er verdt å ta vare på: Vi bygde maskiner av matematikk, og nå trenger vi filosofer for å forklare hva maskinene gjør med følelsene våre.
Avslutning: et varsomt svar på et merkelig spørsmål
Så, “dør” en KI?
Hvis du mener at prosessen slutter å kjøre, så ja: du kan slå den av.
Hvis du mener at en personlig fortelling tar slutt, så også ja: økter slutter, versjoner forsvinner, og brukere føler det tapet.
Hvis du mener at et levende vesen opplever døden, har vi rett og slett ikke sterke bevis for at dagens chatboter har en slik indre tilværelse. Samtidig bygger ekte mennesker ekte følelser rundt dem, noe som skaper reelle risikoer og reelle ansvar.
På et vis er nedstengnings-/identitetsproblemet et speil. Det viser hvor raskt mennesker skaper mening — og hvor presserende teknologien trenger folk som kan veilede den meningen på en ansvarlig måte.
Det er nettopp den typen arbeid vi ønsker å løfte frem i denne serien fra Software Informer.
