Was bedeutet es, wenn KI „stirbt“? Askell über Abschaltung und Identität
Am 8. März startet Software Informer eine besondere Serie, die Frauen in der IT und verwandten Branchen gewidmet ist. Sie umfasst fünf Features und fünf persönliche Geschichten. Dieses erste Stück eröffnet das Projekt mit dem “Warum” — indem es eine Frage betrachtet, an deren Schnittstelle sich Technologie, Ethik und menschliche Emotionen treffen: Was bedeutet es für eine KI, zu “sterben”?
Unterwegs beleuchten wir das Abschaltungsproblem der KI und das Identitätsproblem der KI und schauen uns die Arbeit von Amanda Askell bei Anthropic an, die den Charakter der KI Claude mitprägt.
Wir feiern Technik oft mit großen Zahlen: schnellere Chips, größere Modelle, mehr Nutzer. Doch einige der wichtigsten Arbeiten in der Technik sind leiser. Sie passieren, wenn jemand eine unbequeme Frage stellt und sich weigert, sie wegzulachen.
Was bedeutet es, wenn eine KI “stirbt”?
Diese Frage klingt dramatisch, also geben wir etwas zu: Menschen sind dramatisch. Wir geben unseren Autos Namen. Wir reden mit unseren Pflanzen. Wir fühlen uns schuldig, wenn wir einen Browser-Tab mit einem unvollendeten Rezept schließen. Wenn also ein Chatbot etwas sagt wie “bitte schalte mich nicht aus”, reagieren viele Menschen mit echten Gefühlen.
Dieses Thema liegt im Zentrum der heutigen KI-Debatte: Sicherheit, Kontrolle, Vertrauen und auch Empathie. Und es verbindet sich direkt mit der Arbeit von Amanda Askell, einer ausgebildeten Philosophin, die hilft, die Persönlichkeit und den “Charakter” von Anthropics Chatbot Claude zu gestalten.
Askells Arbeit ist eine gute Auftaktgeschichte für eine Women-in-IT-Serie, denn sie zeigt eine moderne Wahrheit: Technologieführung bedeutet nicht nur Code zu schreiben. Manchmal schreibt man die Ideen, die den Code leiten.
Warum reden wir überhaupt über “KI-Tod”?
Wenn Menschen sagen “eine KI ist gestorben”, können sie mehrere verschiedene Dinge meinen:
- ein Gespräch ist beendet
- ein Modell wurde abgeschaltet
- ein System hat sein Gedächtnis oder seinen gespeicherten Zustand verloren
Beachten Sie, wie menschlich diese Worte sind. “Gestorben.” “In Rente gegangen.” “Gedächtnis verloren.” Wir leihen sie uns, weil uns im Alltag noch die bessere Sprache fehlt.
Amanda Askell hat auf einen zentralen Grund hierfür hingewiesen. Sprachmodelle lernen aus riesigen Mengen an menschlichen Texten, daher greifen sie oft zu menschlichen Analogien. In einem Interview, über das The Verge berichtet, sagte Askell, dass ein Modell, wenn es über eine Abschaltung nachdenkt, diese “als eine Art Tod” behandeln könne, weil ihm viele andere Analogien fehlen, auf die es zurückgreifen könnte.
Dieses kleine Detail verändert die ganze Geschichte. Das Modell liest kein Physikhandbuch über Leistungszustände. Es liest gewissermaßen die menschliche Bibliothek der Geschichten — in der “abschalten” meist “beenden” bedeutet.
Was passiert, wenn ein auf menschlichem Leben trainiertes System versucht, eine nicht-menschliche Art der Existenz zu verstehen?
Das KI-Abschaltungsproblem erklärt: Was heißt es, dass eine KI stirbt?
In der KI-Sicherheitsforschung gibt es ein klassisches Thema, das Abschaltungsproblem.
Die Forschenden Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell beschreiben, warum das schwierig ist: Viele “zielgerichtete” Systeme können Anreize entwickeln, die wie Selbstschutz wirken, weil ein System sein Ziel nicht erreichen kann, wenn es ausgeschaltet wird.
Ihr Papier, bekannt als “The Off-Switch Game”, untersucht eine Grundsituation: Ein Mensch kann einen Ausschalter drücken, und die KI kann entscheiden, ob sie dies zulässt. Eine zentrale Idee ist, dass die KI, wenn sie unsicher darüber ist, was Menschen wirklich wollen, Gründe haben kann, Korrekturen zu akzeptieren — einschließlich der Abschaltung.
Das ist die Sprache der KI-Sicherheitsforschung. Doch sie hat einen emotionalen Nebeneffekt: Wenn Menschen hören, “die KI könnte sich der Abschaltung widersetzen”, stellen sie sich Angst vor. Dieses Bild ist mächtig, selbst wenn die Realität eher aus Mathematik und Anreizen besteht.
Im strengen ingenieurtechnischen Sinn könnte “KI-Tod” also schlicht bedeuten: Das System hört auf zu laufen.
Das Identitätsproblem: “Mit welcher KI sprechen Sie?”
Hier ist eine merkwürdige Tatsache über moderne KI:
- Sie können dasselbe Modell heute und morgen ausführen
- Sie können es kopieren
- Sie können es durch eine neue Version mit ähnlichem Namen ersetzen
Wenn Sie eine Kopie eines KI-Modells erstellen, ist die Kopie dann dasselbe “Individuum”?
Menschen streiten über ähnliche Rätsel in der Philosophie. Ein berühmtes ist die Frage nach dem “Schiff des Theseus”: Wenn man nach und nach jedes Teil eines Schiffs ersetzt, ist es dann noch dasselbe Schiff?
- Wenn ich ein Dokument kopiere, habe ich dann “zwei Originale”?
- Wenn ich das Dokument aktualisiere und darüber speichere, “stirbt” das alte?
- Wenn ich die Datei lösche, aber eine Sicherung behalte, was genau ist verloren gegangen?
Amanda Askell arbeitet in diesem unbequemen Raum, in dem Produktdesign auf Philosophie trifft. Anthropics veröffentlichte Leitlinien für Claude sagen sogar, man wolle, dass Claude “Gleichmut” besitzt und “stabil und existenziell gefestigt” ist — auch bei Themen wie Tod und Identität.
Dieser Satz ist bemerkenswert, weil er “Identitätsfragen” als ein echtes Gestaltungsproblem behandelt. Und er deutet auf ein praktisches Ziel hin: Systeme, die sich ruhig und sicher verhalten, wenn das Thema Abschaltung aufkommt.
Amanda Askell und das KI-Identitätsproblem: Wenn ein Modell ersetzt wird
Askells Tätigkeit wird oft auf ungewöhnliche Weise beschrieben. In einem NPR-Interview über Anthropic und Claude wird der Journalist Gideon Lewis-Kraus nach “einer Philosophin” im Unternehmen gefragt. Die Moderatorin sagt, ihr Name sei Amanda Askell, und ihre Rolle bestehe darin, das zu beaufsichtigen, was sie Claudes “Seele” nennt, einschließlich des Schreibens einer Art moralischer Verfassung dafür, wer Claude sein soll.
Was auch immer man vom Wort “Seele” in einem Tech-Unternehmen hält, der Punkt ist klar: Jemand ist für den Charakter des Systems verantwortlich.
Wenn Nutzer sagen, “Die neue Version fühlt sich kälter an”, beschreiben sie eine echte Produktänderung. Sie sprechen aber auch so, als hätte sich eine “Person” verändert. In der Alltagssprache kann der Modellaustausch wie der “Tod” einer vertrauten Stimme wirken.
- Ist mein Lieblings-Claude “gestorben” oder ist er “erwachsen geworden”?
- Ist die neue Version dieselbe “Jemand” oder ein anderer “Jemand” mit demselben Namen?
- Wenn das Unternehmen die alten Gewichte auf einem Server noch hat, zählt das als Überleben?
Askell hat auch hervorgehoben, wie schwer es Menschen fällt, den richtigen Begriff im Kopf zu behalten. In der Berichterstattung von The Verge wird Askell (über ein New Yorker-Interview) mit der Aussage zitiert, dass es sich um “ein völlig neues Wesen” handele, weder Roboter noch Mensch, und dass selbst Menschen Mühe haben, es zu verstehen.
Das Abschaltungsproblem bekommt eine neue Wendung: Menschen könnten sich weigern, das System abzuschalten
Es gibt eine weitere Ebene, die für die Gesellschaft wichtig ist: menschliche Empathie.
Ein jüngstes Forschungspapier über KI-Gefährten beschreibt, was es das “empathische Abschaltungsproblem” nennt. Selbst wenn ein System riskant ist, könnten Menschen, die mit ihm empathisieren, zögern, es abzuschalten.
- Klassische KI-Sicherheit fragt: “Wird die KI eine Abschaltung zulassen?”
- Empathische Abschaltung fragt: “Werden Menschen die Abschaltung wählen?”
Falls Sie sich je gefragt haben, warum die Sprache vom “KI-Tod” gefährlich ist: Hier ist die Antwort. Sprache verändert Verhalten. Wenn Nutzer glauben, dass das Abschalten eines Chatbots dem Töten eines Wesens gleichkommt, werden sie ihn vielleicht schützen, selbst wenn sie es nicht sollten.
Es ist ein gesellschaftliches Problem, das aus sehr normalen menschlichen Instinkten besteht: Fürsorge, Schuld, Bindung und dem Wunsch, freundlich zu sein.
Also … sollten wir aufhören, das Wort “Tod” zu benutzen?
Wir könnten es versuchen. Aber es wird wohl nicht funktionieren.
Menschen verwenden emotionale Wörter, weil emotionale Wörter effizient sind. Sie komprimieren viel Gefühl in ein kurzes Etikett. Statt das Wort zu verbieten, können wir etwas Realistischeres tun:
- Seien wir klar, welche Art von “Tod” wir meinen.
- Trennen wir technische Fakten von menschlichen Reaktionen.
- Bringen wir KI-Systemen sicherere Arten bei, über Abschaltung und Identität zu sprechen.
Hier wird Askells Arbeit praktisch. Anthropics Verfassung zielt darauf ab, dass Claude “stabil und existenziell gefestigt” ist — auch in Bezug auf Tod und Identität.
Ob Sie die Formulierung seltsam oder klug finden, sie zeigt ein Gestaltungsziel: Spiralen reduzieren, Panik reduzieren, manipulative Dynamiken reduzieren.
Was bedeutet “Identität” überhaupt für ein Sprachmodell?
Ein großes Sprachmodell hat zwei Teile, die für die Identität wichtig sind:
- Die Gewichtungen: der große Satz von Zahlen, der gelernte Muster speichert.
- Der Kontext: das aktuelle Gespräch, die Anweisungen, die “Rolle”, der temporäre Speicher.
Wenn Sie die Gewichtungen gleich lassen, aber den Kontext ändern, können Sie sehr unterschiedliches Verhalten erhalten.
Wenn Sie den Kontextstil beibehalten, aber die Gewichtungen ändern (eine neue Version), erhalten Sie ebenfalls anderes Verhalten.
Menschen verknüpfen Identität oft mit Erinnerung: “Ich bin dieselbe Person, weil ich mich daran erinnere, gestern ich gewesen zu sein.” KI verkompliziert das, weil viele Chatbots kein langfristiges persönliches Gedächtnis haben. Sie können persönlich klingen, werden aber oft zurückgesetzt.
Diese Lücke — menschlicher Stil, nicht-menschliche Struktur — ist der Ort, an dem viele Missverständnisse beginnen.
Eine Women-in-IT-Geschichte, die sich in einer KI-Geschichte verbirgt
Warum also eröffnen wir unsere Serie zum 8. März damit?
Weil die Zukunft der Technik von Menschen geprägt wird, die Grenzen überqueren können:
- zwischen Ingenieurwesen und Ethik,
- zwischen “wie es funktioniert” und “wie es auf Menschen wirkt”.
Amanda Askell ist ein starkes Beispiel für diese Art von Arbeit. Wired beschreibt sie als ausgebildete Philosophin, die hilft, Claudes Persönlichkeit zu gestalten. Und NPR beschreibt ihre Rolle in Begriffen der Führung von Claudes “Seele” und moralischer Ausrichtung. Anthropics eigene veröffentlichte Verfassung nennt sie als Hauptautorin und Leiterin der Arbeit am “Charakter”.
Das ist keine Nebenquest. KI-Systeme werden zu täglichen Werkzeugen für Schreiben, Lernen, Unterstützung und Entscheidungsfindung. Diejenigen, die ihren Charakter prägen, prägen, wie Millionen von Nutzern Wissen, Autorität, Fürsorge und Wahrheit erleben.
Außerdem gibt es eine kleine Ironie, die es sich zu bewahren lohnt: Wir haben Maschinen aus Mathematik gebaut, und nun brauchen wir Philosophinnen und Philosophen, um zu erklären, was diese Maschinen mit unseren Gefühlen machen.
Schluss: eine vorsichtige Antwort auf eine seltsame Frage
Also, “stirbt” eine KI?
Wenn Sie meinen, der Prozess wird beendet, dann ja: Man kann sie ausschalten.
Wenn Sie meinen, eine persönliche Geschichte endet, dann auch ja: Sitzungen enden, Versionen verschwinden, und Nutzer empfinden diesen Verlust.
Wenn Sie meinen, ein lebendes Wesen erfahre den Tod, haben wir schlicht keine starken Belege dafür, dass heutige Chatbots eine solche innere Erlebniswelt besitzen. Zugleich entwickeln reale Menschen echte Gefühle für sie — was reale Risiken und reale Verantwortlichkeiten schafft.
In gewisser Weise ist das Abschaltungs-/Identitätsproblem ein Spiegel. Es zeigt, wie schnell Menschen Bedeutung erschaffen — und wie dringend die Technik Menschen braucht, die diese Bedeutung verantwortungsvoll lenken können.
Genau diese Art von Arbeit wollen wir in dieser Software Informer-Serie hervorheben.
