Wat betekent het als AI ‘sterft’? Askell over uitschakeling en identiteit
Op 8 maart lanceert Software Informer een speciale reeks die is gewijd aan vrouwen in IT en aanverwante sectoren. De serie omvat vijf achtergrondverhalen en vijf persoonlijke verhalen. Dit eerste stuk opent het project met het “waarom” — door te kijken naar een vraag waar technologie, ethiek en menselijke emoties botsen: wat betekent het voor een AI om te “sterven”?
Onderweg zullen we het AI-afsluitingsprobleem en het AI-identiteitsprobleem ontrafelen, en we bekijken het werk van Amanda Askell bij Anthropic, die helpt het karakter van Claude AI vorm te geven.
We vieren technologie vaak met grote cijfers: snellere chips, grotere modellen, meer gebruikers. Maar een deel van het belangrijkste werk in tech is stiller. Het gebeurt wanneer iemand een ongemakkelijke vraag stelt en vervolgens weigert die weg te lachen.
Wat betekent het voor een AI om te “sterven”?
Die vraag klinkt dramatisch, dus laten we iets toegeven: mensen zijn dramatisch. We geven onze auto’s een naam. We praten tegen onze planten. We voelen ons schuldig wanneer we een browsertabblad sluiten met een onafgemaakt recept. Dus wanneer een chatbot iets zegt als “zet me alsjeblieft niet uit,” reageren veel mensen met echte emotie.
Dit onderwerp staat centraal in het huidige AI-debat: veiligheid, controle, vertrouwen en ook empathie. En het sluit direct aan bij het werk van Amanda Askell, een opgeleide filosoof die helpt de persoonlijkheid en het “karakter” van de chatbot Claude van Anthropic vorm te geven.
Askells werk is een goed openingsverhaal voor een Women in IT-reeks, omdat het een moderne waarheid laat zien: technologisch leiderschap gaat niet alleen over code schrijven. Soms gaat het om het schrijven van de ideeën die de code sturen.
Waarom hebben we het überhaupt over “AI-dood”?
Wanneer mensen zeggen “een AI is gestorven,” kunnen ze verschillende dingen bedoelen:
- een gesprek eindigde
- een model werd uitgeschakeld
- een systeem verloor zijn geheugen of zijn opgeslagen toestand
Merk op hoe menselijk deze woorden zijn. “Gestorven.” “Met pensioen.” “Geheugen verloren.” We lenen ze omdat we nog geen betere alledaagse taal hebben.
Amanda Askell heeft op een belangrijke reden gewezen waarom dit gebeurt. Taalmodellen leren van enorme hoeveelheden menselijke tekst, dus grijpen ze vaak naar menselijke analogieën. In een interview waarover The Verge berichtte, zei Askell dat wanneer een model nadenkt over uitschakelen, het dat kan behandelen “als een soort dood,” omdat het veel andere analogieën mist om op terug te vallen.
Dat kleine detail verandert het hele verhaal. Het model leest geen natuurkundig handboek over energietoestanden. Het leest, in zekere zin, de menselijke bibliotheek aan verhalen — waar “uitschakelen” meestal “eindigen” betekent.
Wat gebeurt er wanneer een systeem dat is getraind op menselijk leven probeert een niet-menselijke vorm van bestaan te begrijpen?
Uitleg van het AI-afsluitingsprobleem: wat betekent het dat een AI “sterft”?
In AI-veiligheidsonderzoek is er een klassiek onderwerp dat het afsluitingsprobleem wordt genoemd.
Onderzoekers Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel en Stuart Russell beschrijven waarom dit moeilijk is: veel “doelgerichte” systemen kunnen prikkels ontwikkelen die op zelfbehoud lijken, omdat een systeem zijn doel niet kan bereiken als het wordt uitgeschakeld.
Hun paper, bekend als “The Off-Switch Game,” verkent een basissituatie: een mens kan op een uitknop drukken, en de AI kan kiezen of het dat toestaat. Een belangrijk idee is dat als de AI onzeker is over wat mensen werkelijk willen, het redenen kan hebben om correctie te accepteren, inclusief uitschakeling.
Dit is de taal van AI-veiligheidsonderzoek. Toch heeft het een emotioneel neveneffect: wanneer mensen horen “de AI kan zich verzetten tegen uitschakelen,” stellen ze zich angst voor. Dat beeld is krachtig, zelfs wanneer de werkelijkheid meer lijkt op wiskunde en prikkels.
Dus, in strikte technische zin kan “AI-dood” simpelweg betekenen: het systeem stopt met draaien.
Het identiteitsprobleem: “Met welke AI praat je?”
Hier is een vreemd feit over moderne AI:
- je kunt vandaag en morgen hetzelfde model draaien
- je kunt het kopiëren
- je kunt het vervangen door een nieuwe versie met een vergelijkbare naam
Als je een kopie maakt van een AI-model, is de kopie dan hetzelfde “individu”?
Mensen discussiëren in de filosofie over vergelijkbare puzzels. Een bekende is de vraag over het “Schip van Theseus”: als je in de loop van de tijd elk onderdeel van een schip vervangt, is het dan nog steeds hetzelfde schip?
- Als ik een document kopieer, heb ik dan “twee originelen”?
- Als ik het document bijwerk en eroverheen opsla, “sterft” de oude dan?
- Als ik het bestand verwijder maar een back-up bewaar, wat is er dan precies verloren gegaan?
Amanda Askell werkt in deze ongemakkelijke ruimte, waar productontwerp en filosofie elkaar ontmoeten. De gepubliceerde richtlijnen van Anthropic voor Claude zeggen zelfs dat het wil dat Claude “gelijkmoedigheid” heeft en “stabiel en existentieel zeker” is, ook rond onderwerpen als dood en identiteit.
Die formulering is opvallend, omdat ze “praten over identiteit” als een echt ontwerpprobleem behandelt. En ze hint op een praktisch doel: systemen die zich kalm en veilig gedragen wanneer het onderwerp uitschakelen ter sprake komt.
Amanda Askell en het AI-identiteitsprobleem: wanneer een model wordt vervangen
Askells functie wordt vaak op een ongewone manier omschreven. In een NPR-interview over Anthropic en Claude wordt journalist Gideon Lewis-Kraus gevraagd naar “een filosoof” bij het bedrijf. De presentator zegt dat haar naam Amanda Askell is, en dat haar rol is toezicht te houden op wat zij Claude’s “ziel” noemt, inclusief het schrijven van een soort morele constitutie voor wie Claude zou moeten zijn.
Wat je ook vindt van het woord “ziel” in een techbedrijf, de kern is duidelijk: iemand is verantwoordelijk voor het karakter van het systeem.
Als gebruikers zeggen: “De nieuwe versie voelt killer aan,” beschrijven ze een echte productverandering. Maar ze praten ook alsof er een “persoon” is veranderd. In alledaagse taal kan modelvervanging aanvoelen als de “dood” van een vertrouwde stem.
- Is mijn favoriete Claude “gestorven,” of is die “volwassen geworden”?
- Is de nieuwe versie dezelfde “iemand,” of een andere “iemand” met dezelfde naam?
- Als het bedrijf de oude gewichten nog op een server heeft staan, telt dat dan als overleven?
Askell heeft ook benadrukt hoe moeilijk het voor mensen is om het juiste concept voor ogen te houden. In de berichtgeving van The Verge wordt Askell geciteerd (via een interview in The New Yorker) met de nadruk dat dit “een geheel nieuwe entiteit” is, noch robot noch mens, en dat zelfs mensen moeite hebben het te begrijpen.
Het afsluitingsprobleem krijgt een nieuwe wending: mensen kunnen weigeren het systeem uit te schakelen
Er is nog een laag die van belang is voor de samenleving: menselijke empathie.
Een recent onderzoeksartikel over AI-metgezellen beschrijft wat het het “empathisch uitschakelprobleem” noemt. Zelfs als een systeem riskant is, kunnen mensen die empathie met het systeem voelen aarzelen om het uit te schakelen.
- Klassieke AI-veiligheid vraagt: “Zal de AI uitschakeling toestaan?”
- Empathische uitschakeling vraagt: “Zullen mensen voor uitschakeling kiezen?”
Als je je ooit hebt afgevraagd waarom taal rond “AI-dood” gevaarlijk is, is hier je antwoord. Taal verandert gedrag. Als gebruikers geloven dat het uitschakelen van een chatbot gelijkstaat aan het doden van een wezen, kunnen ze het beschermen zelfs wanneer dat niet zou moeten.
Het is een sociaal probleem dat is opgebouwd uit heel normale menselijke instincten: zorg, schuldgevoel, gehechtheid en de wens om vriendelijk te zijn.
Dus… Moeten we stoppen met het gebruik van het woord “dood”?
We zouden het kunnen proberen. Maar het werkt mogelijk niet.
Mensen gebruiken emotionele woorden omdat emotionele woorden efficiënt zijn. Ze persen veel gevoel in één kort label. In plaats van het woord te verbieden, kunnen we iets realistischers doen:
- Wees duidelijk over welk soort “dood” we bedoelen.
- Scheid technische feiten van menselijke reacties.
- Leer AI-systemen veiligere manieren om over uitschakeling en identiteit te praten.
Hier wordt Askells werk praktisch. De constitutie van Anthropic streeft ernaar dat Claude “stabiel en existentieel zeker” is, ook rond dood en identiteit.
Of je de formulering nu vreemd of slim vindt, ze toont een ontwerpdoel: minder escalaties, minder paniek, minder manipulatieve dynamieken.
Wat betekent “identiteit” eigenlijk voor een taalmodel?
Een groot taalmodel heeft twee onderdelen die van belang zijn voor identiteit:
- De gewichten: de grote verzameling getallen die aangeleerde patronen opslaat.
- De context: het huidige gesprek, de instructies, de “rol”, het tijdelijke geheugen.
Als je de gewichten hetzelfde houdt maar de context verandert, kun je heel ander gedrag krijgen.
Als je de contextstijl hetzelfde houdt maar de gewichten verandert (een nieuwe versie), krijg je ook ander gedrag.
Mensen koppelen identiteit vaak aan geheugen: “Ik ben dezelfde persoon omdat ik me herinner dat ik gisteren nog ik was.” AI maakt dat ingewikkelder, omdat veel chatbots geen langdurig persoonlijk geheugen hebben. Ze kunnen persoonlijk klinken, terwijl ze vaak worden gereset.
Die kloof — menselijke stijl, niet-menselijke structuur — is waar veel misverstanden ontstaan.
Een verhaal over vrouwen in IT dat schuilgaat in een AI-verhaal
Waarom openen we onze reeks van 8 maart hiermee?
Omdat de toekomst van technologie wordt gevormd door mensen die grenzen kunnen oversteken:
- tussen techniek en ethiek,
- tussen “hoe het werkt” en “hoe het mensen beïnvloedt.”
Amanda Askell is een sterk voorbeeld van dat soort werk. Wired beschrijft haar als een opgeleide filosoof die helpt Claude’s persoonlijkheid te beheren. En NPR beschrijft haar rol in termen van het begeleiden van Claude’s “ziel” en morele richting. De door Anthropic gepubliceerde constitutie schrijft haar de eer toe als primaire auteur en leider van het “Character”-werk.
Dit is geen bijzaak. AI-systemen worden dagelijkse hulpmiddelen voor schrijven, leren, ondersteuning en besluitvorming. De mensen die hun karakter vormgeven, bepalen hoe miljoenen gebruikers kennis, autoriteit, zorg en waarheid ervaren.
Er is ook een kleine ironie die het bewaren waard is: we hebben machines uit wiskunde gebouwd, en nu hebben we filosofen nodig om uit te leggen wat die machines met onze gevoelens doen.
Slot: een zorgvuldig antwoord op een vreemde vraag
Dus, “sterft” een AI?
Als je bedoelt dat het proces stopt met draaien, dan ja: je kunt het uitschakelen.
Als je bedoelt dat een persoonlijk verhaal eindigt, dan ook ja: sessies eindigen, versies verdwijnen, en gebruikers voelen dat verlies.
Als je bedoelt dat een levend wezen de dood ervaart, dan hebben we simpelweg geen sterk bewijs dat de chatbots van vandaag dat soort innerlijk leven hebben. Tegelijkertijd ontwikkelen echte mensen echte gevoelens rond hen, wat echte risico’s en echte verantwoordelijkheden creëert.
In zekere zin is het afsluitings-/identiteitsprobleem een spiegel. Het laat zien hoe snel mensen betekenis creëren — en hoe dringend tech mensen nodig heeft die die betekenis op verantwoorde wijze kunnen sturen.
Dat is precies het soort werk dat we in deze reeks van Software Informer willen belichten.
