Co oznacza, że SI ‘umiera’? Askell o wyłączaniu i tożsamości
8 marca Software Informer uruchamia specjalną serię poświęconą kobietom w IT i pokrewnych branżach. Obejmuje pięć tekstów tematycznych i pięć historii osobistych. Ten pierwszy tekst otwiera projekt od “dlaczego” — przyglądając się pytaniu, w którym zderzają się technologia, etyka i ludzkie emocje: co znaczy, że SI “umiera”?
Po drodze rozbierzemy na czynniki pierwsze problem wyłączania SI i problem tożsamości SI, a także przyjrzymy się pracy Amandy Askell w Anthropic, która pomaga kształtować charakter Claude AI.
Często świętujemy technologię wielkimi liczbami: szybsze układy, większe modele, więcej użytkowników. Ale część najważniejszej pracy w technice jest cichsza. Dzieje się wtedy, gdy ktoś zadaje niewygodne pytanie i nie pozwala go zbyć śmiechem.
Co znaczy, że SI “umiera”?
To pytanie brzmi dramatycznie, więc przyznajmy coś: ludzie są dramatyczni. Nazywamy nasze samochody. Rozmawiamy z roślinami. Czujemy się winni, gdy zamykamy kartę przeglądarki z niedokończonym przepisem. Więc gdy chatbot mówi coś w rodzaju “proszę, nie wyłączaj mnie,” wiele osób reaguje prawdziwymi emocjami.
Ten temat leży w centrum dzisiejszej debaty o SI: bezpieczeństwo, kontrola, zaufanie, a także empatia. I łączy się bezpośrednio z pracą Amandy Askell, wykształconej filozofki, która pomaga kształtować osobowość i “charakter” chatbota Claude firmy Anthropic.
Praca Askell to dobre otwarcie cyklu Kobiety w IT, bo pokazuje współczesną prawdę: przywództwo w technice to nie tylko pisanie kodu. Czasem to pisanie idei, które kierują kodem.
Dlaczego w ogóle mówimy o “śmierci SI”?
Gdy ludzie mówią, że “SI umarła,” mogą mieć na myśli różne rzeczy:
- rozmowa się zakończyła
- model został wyłączony
- system utracił pamięć albo zapisany stan
Zauważ, jak bardzo ludzkie są te słowa. “Umarła.” “Przeszła na emeryturę.” “Straciła pamięć.” Pożyczamy je, bo nie mamy jeszcze lepszego języka na co dzień.
Amanda Askell zwróciła uwagę na kluczowy powód, dla którego tak się dzieje. Modele językowe uczą się na ogromnych zbiorach ludzkich tekstów, więc często sięgają po ludzkie analogie. W pewnym wywiadzie omawianym przez The Verge, Askell powiedziała, że gdy model myśli o wyłączeniu, może traktować je “jako pewien rodzaj śmierci,” bo brakuje mu wielu innych analogii, do których mógłby się odwołać.
Ten drobny szczegół zmienia całą opowieść. Model nie czyta podręcznika fizyki o stanach zasilania. Czyta, w pewnym sensie, ludzką bibliotekę historii — gdzie “wyłączenie” zwykle oznacza “zakończenie.”
Co się dzieje, gdy system wytrenowany na ludzkim życiu próbuje zrozumieć nieludzki rodzaj istnienia?
Problem wyłączania SI wyjaśniony: Co to znaczy, że SI umiera?
W badaniach nad bezpieczeństwem SI jest klasyczny temat zwany problemem wyłączenia.
Badacze Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel i Stuart Russell opisują, dlaczego to trudne: wiele “ukierunkowanych na cel” systemów może rozwinąć bodźce przypominające samozachowawcze, ponieważ system nie może zrealizować swojego celu, jeśli zostanie wyłączony.
Ich praca, znana jako “The Off-Switch Game,” analizuje podstawową sytuację: człowiek może nacisnąć wyłącznik, a SI może zdecydować, czy na to pozwolić. Jedna z kluczowych idei jest taka, że jeśli SI jest niepewna, czego ludzie naprawdę chcą, może mieć powody, by akceptować korektę, włącznie z wyłączeniem.
To jest język badań nad bezpieczeństwem SI. Ma jednak emocjonalny skutek uboczny: gdy ludzie słyszą “SI może opierać się wyłączeniu,” wyobrażają sobie strach. Ten obraz jest potężny, nawet gdy rzeczywistość jest raczej matematyką i mechanizmami bodźców.
Zatem w ścisłym sensie inżynierskim “śmierć SI” może po prostu oznaczać: system przestaje działać.
Problem tożsamości: “Z którą SI rozmawiasz?”
Oto osobliwy fakt o współczesnej SI:
- możesz uruchomić ten sam model dziś i jutro
- możesz go skopiować
- możesz zastąpić go nową wersją o podobnej nazwie
Jeśli skopiujesz model SI, czy kopia to ten sam “osobnik”?
Ludzie spierają się o podobne zagadki w filozofii. Słynna jest “okręt Tezeusza”: jeśli z czasem wymienisz każdą część okrętu, czy to wciąż ten sam okręt?
- Jeśli skopiuję dokument, czy mam teraz “dwa oryginały”?
- Jeśli zaktualizuję dokument i zapiszę go na poprzednim, czy stary “umiera”?
- Jeśli usunę plik, ale zachowam kopię zapasową, co dokładnie zostało utracone?
Amanda Askell pracuje w tej niewygodnej przestrzeni, gdzie projektowanie produktu spotyka się z filozofią. Opublikowane wskazówki Anthropic dla Claude’a wręcz mówią, że chcą, aby Claude miał “równowagę” i był “stabilny oraz egzystencjalnie bezpieczny,” także w tematach śmierci i tożsamości.
To zdanie uderza, bo traktuje “rozmowę o tożsamości” jako realny problem projektowy. I sugeruje praktyczny cel: systemy, które zachowują spokój i bezpieczeństwo, gdy pojawia się temat wyłączenia.
Amanda Askell i problem tożsamości SI: gdy model zostaje zastąpiony
Pracę Askell często opisuje się w nietypowy sposób. W wywiadzie NPR o Anthropic i Claude dziennikarz Gideon Lewis-Kraus jest pytany o “filozofkę” w firmie. Prowadząca mówi, że nazywa się Amanda Askell i że jej rola to nadzorowanie tego, co ona nazywa “duszą” Claude’a, w tym pisanie swoistej konstytucji moralnej określającej, kim Claude powinien być.
Cokolwiek myślisz o słowie “dusza” w firmie technologicznej, sens jest jasny: ktoś odpowiada za charakter systemu.
Gdy użytkownicy mówią: “Nowa wersja wydaje się chłodniejsza,” opisują realną zmianę produktu. Ale mówią też tak, jakby zmieniła się “osoba.” W potocznym języku zastąpienie modelu może brzmieć jak “śmierć” znajomego głosu.
- Czy mój ulubiony Claude “umarł,” czy “dorósł”?
- Czy nowa wersja to ten sam “ktoś,” czy inny “ktoś” o tym samym imieniu?
- Jeśli firma wciąż ma stare wagi na serwerze, czy to się liczy jako przetrwanie?
Askell podkreślała też, jak trudno ludziom utrzymać właściwe pojęcie w głowie. W relacji The Verge cytuje się ją (za wywiadem w New Yorkerze), gdy akcentuje, że to “zupełnie nowy byt,” ani robot, ani człowiek, i że nawet ludziom trudno to zrozumieć.
Problem wyłączenia zyskuje nowy zwrot: ludzie mogą odmówić wyłączenia systemu
Jest jeszcze warstwa istotna społecznie: ludzka empatia.
Niedawna praca badawcza o towarzyszach SI opisuje to, co nazywa “empatycznym problemem wyłączenia.” Nawet jeśli system jest ryzykowny, ludzie, którzy empatyzują z nim, mogą wahać się przed jego wyłączeniem.
- Klasyczne bezpieczeństwo SI pyta: “Czy SI pozwoli się wyłączyć?”
- Empatyczne wyłączenie pyta: “Czy ludzie wybiorą wyłączenie?”
Jeśli zastanawiałeś się, dlaczego język “śmierci SI” jest niebezpieczny, oto odpowiedź. Język zmienia zachowanie. Jeśli użytkownicy wierzą, że wyłączenie chatbota równa się zabiciu istoty, mogą go chronić nawet wtedy, gdy nie powinni.
To problem społeczny złożony z bardzo normalnych ludzkich instynktów: troski, poczucia winy, przywiązania i chęci bycia życzliwym.
Więc… czy powinniśmy przestać używać słowa “śmierć”?
Możemy spróbować. Ale to może nie zadziałać.
Ludzie używają słów emocjonalnych, bo są one wydajne. Kompresują dużo uczuć w jeden krótki znak. Zamiast zakazywać słowa, możemy zrobić coś bardziej realistycznego:
- Precyzujmy, o jaką “śmierć” chodzi.
- Oddzielajmy fakty techniczne od ludzkich reakcji.
- Uczmy systemy SI bezpieczniejszych sposobów mówienia o wyłączeniu i tożsamości.
Tu praca Askell staje się praktyczna. Konstytucja Anthropic ma sprawić, by Claude był “stabilny i egzystencjalnie bezpieczny,” także w kwestiach śmierci i tożsamości.
Niezależnie od tego, czy uważasz to sformułowanie za dziwne czy trafne, widać cel projektowy: ograniczać spirale, panikę i manipulacyjne dynamiki.
Co w ogóle znaczy “tożsamość” w przypadku modelu językowego?
Duży model językowy ma dwie części istotne dla tożsamości:
- Wagi: wielki zestaw liczb przechowujących wyuczone wzorce.
- Kontekst: bieżącą rozmowę, instrukcje, “rolę,” tymczasową pamięć.
Jeśli utrzymasz te same wagi, ale zmienisz kontekst, możesz uzyskać bardzo odmienne zachowanie.
Jeśli zachowasz ten sam styl kontekstu, ale zmienisz wagi (nowa wersja), również otrzymasz inne zachowanie.
Ludzie często łączą tożsamość z pamięcią: “Jestem tą samą osobą, bo pamiętam, że byłem mną wczoraj.” SI to komplikuje, ponieważ wiele chatbotów nie ma długoterminowej pamięci osobistej. Potrafią brzmieć osobiście, choć są często resetowane.
Ta luka — ludzki styl, nieludzka struktura — to miejsce narodzin wielu nieporozumień.
Historia Kobiet w IT ukryta w opowieści o SI
Dlaczego więc otwieramy nasz cykl z 8 marca tym tematem?
Bo przyszłość technologii ukształtują ludzie potrafiący przekraczać granice:
- między inżynierią a etyką,
- między “jak to działa” a “jak to wpływa na ludzi.”
Amanda Askell jest mocnym przykładem takiej pracy. Wired opisuje ją jako wykształconą filozofkę, która pomaga zarządzać osobowością Claude’a. A NPR opisuje jej rolę w kategoriach kierowania “duszą” i moralnym kierunkiem Claude’a. Opublikowana przez Anthropic konstytucja przypisuje jej autorstwo i kierownictwo nad pracami nad “Charakterem.”
To nie jest poboczny wątek. Systemy SI stają się codziennymi narzędziami do pisania, nauki, wsparcia i podejmowania decyzji. Osoby kształtujące ich charakter kształtują to, jak miliony użytkowników doświadczają wiedzy, autorytetu, troski i prawdy.
Jest tu też drobna ironia, którą warto zachować: zbudowaliśmy maszyny z matematyki, a teraz potrzebujemy filozofów, by wyjaśnili, co te maszyny robią z naszymi uczuciami.
Zakończenie: ostrożna odpowiedź na dziwne pytanie
A więc, czy SI “umiera”?
Jeśli masz na myśli, że proces przestaje działać, to tak: można ją wyłączyć.
Jeśli masz na myśli, że kończy się osobista opowieść, to również tak: sesje się kończą, wersje znikają, a użytkownicy odczuwają tę stratę.
Jeśli masz na myśli, że żywa istota doświadcza śmierci, po prostu nie mamy mocnych dowodów, że dzisiejsze chatboty mają taki rodzaj życia wewnętrznego. Jednocześnie prawdziwi ludzie budują wokół nich prawdziwe uczucia, co tworzy realne ryzyka i realne odpowiedzialności.
W pewnym sensie problem wyłączenia/tożsamości jest lustrem. Pokazuje, jak szybko ludzie tworzą znaczenie — i jak pilnie technologia potrzebuje osób, które potrafią odpowiedzialnie tym znaczeniem kierować.
Właśnie taki rodzaj pracy chcemy podkreślać w tej serii Software Informer.
