Hvad vil det sige, at AI ‘dør’? Askell om nedlukning og identitet
Den 8. marts lancerer Software Informer en særlig serie dedikeret til kvinder i IT og beslægtede brancher. Den omfatter fem artikler og fem personlige historier. Denne første artikel åbner projektet med “hvorfor” — ved at se på et spørgsmål, hvor teknologi, etik og menneskelige følelser kolliderer: hvad vil det sige, at en AI “dør”?
Undervejs pakker vi AI’ens nedlukningsproblem og AI-identitetsproblemet ud, og vi kigger på arbejdet af Amanda Askell hos Anthropic, som er med til at forme karakteren af Claude AI.
Vi fejrer ofte teknologi med store tal: hurtigere chips, større modeller, flere brugere. Men noget af det vigtigste arbejde i tech er mere stilfærdigt. Det sker, når nogen stiller et ubehageligt spørgsmål og nægter at grine det væk.
Hvad vil det sige, at en AI “dør”?
Det spørgsmål lyder dramatisk, så lad os indrømme noget: mennesker er dramatiske. Vi giver vores biler navne. Vi taler til vores planter. Vi får dårlig samvittighed, når vi lukker et faneblad i browseren med en ufuldendt opskrift. Så når en chatbot siger noget i stil med “vær venlig ikke at slukke for mig”, reagerer mange mennesker med ægte følelser.
Dette emne ligger i centrum af nutidens AI-debat: sikkerhed, kontrol, tillid og også empati. Og det hænger direkte sammen med arbejdet af Amanda Askell, en uddannet filosof, som er med til at forme personligheden og “karakteren” af Anthropics chatbot Claude.
Askells arbejde er en god åbningshistorie til en Women in IT-serie, fordi det viser en moderne sandhed: teknologiledelse handler ikke kun om at skrive kode. Nogle gange handler det om at formulere de idéer, der guider koden.
Hvorfor taler vi overhovedet om “AI-død”?
Når folk siger, at “en AI døde”, kan de mene flere forskellige ting:
- en samtale sluttede
- en model blev lukket ned
- et system mistede sin hukommelse eller sin gemte tilstand
Læg mærke til, hvor menneskelige disse ord er. “Døde.” “Pensioneret.” “Mistet hukommelse.” Vi låner dem, fordi vi endnu ikke har et bedre hverdagssprog.
Amanda Askell har peget på en nøgleårsag til, at det sker. Sproglige modeller lærer af enorme mængder menneskelig tekst, så de griber ofte til menneskelige analogier. I et interview omtalt af The Verge sagde Askell, at når en model tænker på nedlukning, kan den opfatte det “som en form for død”, fordi den mangler mange andre analogier at trække på.
Den lille detalje ændrer hele historien. Modellen læser ikke en fysikhåndbog om strømtilstande. Den læser, i en vis forstand, det menneskelige bibliotek af fortællinger — hvor “at lukke ned” som regel betyder “at slutte”.
Hvad sker der, når et system, trænet på menneskeliv, forsøger at forstå en ikke-menneskelig form for eksistens?
Forklaring af AI’ens nedlukningsproblem: Hvad vil det sige, at en AI dør?
I AI-sikkerhedsforskning findes et klassisk emne kaldet nedlukningsproblemet.
Forskerne Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel og Stuart Russell forklarer, hvorfor dette er svært: mange “måldrevne” systemer kan udvikle incitamenter, der ligner selvopretholdelse, fordi et system ikke kan opnå sit mål, hvis det bliver slukket.
Deres artikel, kendt som “The Off-Switch Game”, udforsker en grundlæggende situation: Et menneske kan trykke på en sluk-knap, og AI'en kan vælge, om den vil tillade det. En central idé er, at hvis AI'en er usikker på, hvad mennesker egentlig ønsker, kan den have grunde til at acceptere korrektion, inklusive nedlukning.
Det er sproget i AI-sikkerhedsforskning. Alligevel har det en følelsesmæssig bivirkning: når folk hører, at “AI'en kan modsætte sig nedlukning”, forestiller de sig frygt. Det billede er stærkt, selv når virkeligheden mere ligner matematik og incitamenter.
Så i en streng ingeniørmæssig forstand kan “AI-død” ganske enkelt betyde: systemet holder op med at køre.
Identitetsproblemet: “Hvilken AI taler du med?”
Her er et mærkeligt faktum om moderne AI:
- du kan køre den samme model i dag og i morgen
- du kan kopiere den
- du kan erstatte den med en ny version, der har et lignende navn
Hvis du laver en kopi af en AI-model, er kopien så det samme “individ”?
Mennesker diskuterer lignende gåder i filosofien. En berømt er spørgsmålet om “Theseus' skib”: hvis du udskifter hver del af et skib over tid, er det så stadig det samme skib?
- Hvis jeg kopierer et dokument, har jeg så nu “to originaler”?
- Hvis jeg opdaterer dokumentet og gemmer over det, “dør” det gamle så?
- Hvis jeg sletter filen, men beholder en sikkerhedskopi, hvad gik præcist tabt?
Amanda Askell arbejder i dette ubehagelige rum, hvor produktdesign møder filosofi. Anthropics offentliggjorte retningslinjer for Claude siger endda, at de ønsker, at Claude skal have “sindsligevægt” og være “stabil og eksistentielt tryg”, også omkring emner som død og identitet.
Den formulering er iøjnefaldende, fordi den behandler “identitetssnak” som et reelt designspørgsmål. Og den antyder et praktisk mål: systemer, der opfører sig roligt og sikkert, når emnet nedlukning kommer op.
Amanda Askell og AI’ens identitetsproblem: Når en model bliver udskiftet
Askells job bliver ofte beskrevet på en usædvanlig måde. I et NPR-interview om Anthropic og Claude bliver journalisten Gideon Lewis-Kraus spurgt om “en filosof” i virksomheden. Værten siger, at hun hedder Amanda Askell, og at hendes rolle er at føre tilsyn med det, hun kalder Claudes “sjæl”, herunder at skrive en slags moralsk forfatning for, hvem Claude skal være.
Uanset hvad man mener om ordet “sjæl” i en tech-virksomhed, er pointen klar: Nogen er ansvarlig for systemets karakter.
Hvis brugere siger: “Den nye version føles koldere,” beskriver de en reel produktændring. Men de taler også, som om en “person” har ændret sig. I hverdagssprog kan modeludskiftning føles som “døden” for en velkendt stemme.
- Døde min yndlings-Claude, eller “blev den voksen”?
- Er den nye version den samme “nogen”, eller en anden “nogen” med samme navn?
- Hvis virksomheden stadig har de gamle vægte på en server, tæller det så som overlevelse?
Askell har også fremhævet, hvor svært det er for mennesker at fastholde det rette begreb. I The Verges dækning citeres Askell (via et New Yorker-interview) for at understrege, at dette er “en helt ny enhed”, hverken robot eller menneske, og at selv mennesker har svært ved at forstå den.
Nedlukningsproblemet får et nyt twist: Mennesker kan nægte at lukke systemet ned
Der er et andet lag, der betyder noget for samfundet: menneskelig empati.
En nyere forskningsartikel om AI-ledsagere beskriver det, den kalder “det empatiske nedlukningsproblem”. Selv hvis et system er risikabelt, kan mennesker, der føler empati med det, tøve med at lukke det ned.
- Klassisk AI-sikkerhed spørger: “Vil AI'en tillade nedlukning?”
- Empatisk nedlukning spørger: “Vil mennesker vælge nedlukning?”
Hvis du nogensinde har undret dig over, hvorfor “AI-død”-sprog er farligt, er her svaret. Sprog ændrer adfærd. Hvis brugere tror, at det at lukke en chatbot ned svarer til at dræbe et væsen, kan de beskytte den, selv når de ikke burde.
Det er et socialt problem skabt af helt normale menneskelige instinkter: omsorg, skyld, tilknytning og ønsket om at være venlig.
Så … bør vi holde op med at bruge ordet “død”?
Vi kunne prøve. Men det virker måske ikke.
Folk bruger følelsesladede ord, fordi følelsesladede ord er effektive. De komprimerer mange følelser i en kort betegnelse. I stedet for at forbyde ordet kan vi gøre noget mere realistisk:
- Vær tydelig om, hvilken slags “død” vi mener.
- Adskil tekniske fakta fra menneskelige reaktioner.
- Lær AI-systemer sikrere måder at tale om nedlukning og identitet.
Det er her, Askells arbejde bliver praktisk. Anthropics forfatning har som mål, at Claude skal være “stabil og eksistentielt tryg”, også omkring død og identitet.
Uanset om du synes, formuleringen er mærkelig eller klog, viser den et designmål: færre spiraler, mindre panik, færre manipulerende dynamikker.
Hvad betyder “identitet” overhovedet for en sprogmodel?
En stor sprogmodel har to dele, der er vigtige for identitet:
- Vægtene: det store sæt tal, der lagrer lærte mønstre.
- Konteksten: den aktuelle samtale, instruktionerne, “rollen”, den midlertidige hukommelse.
Hvis du beholder vægtene de samme, men ændrer konteksten, kan du få meget forskellig adfærd.
Hvis du bevarer kontekststilen, men ændrer vægtene (en ny version), får du også en anden adfærd.
Mennesker forbinder ofte identitet med hukommelse: “Jeg er den samme person, fordi jeg kan huske at have været mig i går.” AI komplicerer det, fordi mange chatbots ikke har langtidspersonlig hukommelse. De kan lyde personlige, mens de ofte nulstilles.
Det hul — menneskelig stil, ikke-menneskelig struktur — er dér, mange misforståelser begynder.
En Women in IT-historie skjult i en AI-historie
Så hvorfor åbne vores 8. marts-serie med dette?
Fordi fremtiden for teknologi vil blive formet af mennesker, der kan krydse grænser:
- mellem teknik og etik,
- mellem “hvordan det virker” og “hvordan det påvirker mennesker.”
Amanda Askell er et stærkt eksempel på den slags arbejde. Wired beskriver hende som en uddannet filosof, der hjælper med at styre Claudes personlighed. Og NPR beskriver hendes rolle i termer af at vejlede Claudes “sjæl” og moralske retning. Anthropics egen offentliggjorte forfatning krediterer hende som hovedforfatter og leder af deres “Character”-arbejde.
Det er ikke en sideopgave. AI-systemer er ved at blive daglige værktøjer til skrivning, læring, support og beslutningstagning. De mennesker, der former deres karakter, former, hvordan millioner af brugere oplever viden, autoritet, omsorg og sandhed.
Der er også en lille ironi, der er værd at bevare: Vi byggede maskiner af matematik, og nu har vi brug for filosoffer til at forklare, hvad maskinerne gør ved vores følelser.
Afslutning: et forsigtigt svar på et mærkeligt spørgsmål
Så, “dør” en AI?
Hvis du mener, at processen holder op med at køre, så ja: du kan slukke den.
Hvis du mener, at en personlig historie slutter, så også ja: sessioner slutter, versioner forsvinder, og brugere føler det tab.
Hvis du mener, at et levende væsen oplever døden, har vi simpelthen ikke stærke beviser for, at nutidens chatbots har den slags indre liv. Samtidig opbygger rigtige mennesker rigtige følelser omkring dem, hvilket skaber reelle risici og reelle ansvar.
På en måde er nedluknings-/identitetsproblemet et spejl. Det viser, hvor hurtigt mennesker skaber mening — og hvor presserende tech har brug for folk, der kan vejlede den mening ansvarligt.
Det er præcis den slags arbejde, vi vil fremhæve i denne Software Informer-serie.
