Cosa significa per l’IA ‘morire’? Askell su spegnimento e identità
Questo 8 marzo, Software Informer lancia una serie speciale dedicata alle donne nell’IT e nei settori correlati. Include cinque approfondimenti e cinque storie personali. Questo primo pezzo apre il progetto con il “perché” — guardando a una domanda in cui tecnologia, etica ed emozioni umane si scontrano: cosa significa per un’IA “morire”?
Lungo il percorso, analizzeremo il problema dell’arresto dell’IA e il problema dell’identità dell’IA, e vedremo il lavoro di Amanda Askell in Anthropic, che contribuisce a plasmare il carattere di Claude AI.
Spesso celebriamo la tecnologia con i grandi numeri: chip più veloci, modelli più grandi, più utenti. Ma alcuni dei lavori più importanti nella tecnologia sono più silenziosi. Accadono quando qualcuno pone una domanda scomoda e si rifiuta di liquidarla con una risata.
Cosa significa per un’IA “morire”?
Questa domanda suona drammatica, quindi ammettiamo qualcosa: gli esseri umani sono drammatici. Diamo un nome alle nostre auto. Parliamo con le piante. Ci sentiamo in colpa quando chiudiamo una scheda del browser con una ricetta non finita. Così, quando un chatbot dice qualcosa come “per favore non spegnermi”, molte persone reagiscono con vera emozione.
Questo tema si trova al centro del dibattito odierno sull’IA: sicurezza, controllo, fiducia, e anche empatia. E si collega direttamente al lavoro di Amanda Askell, una filosofa di formazione che contribuisce a plasmare la personalità e il “carattere” del chatbot Claude di Anthropic.
Il lavoro di Askell è una buona storia d’apertura per una serie su Donne nell’IT, perché mostra una verità moderna: la leadership tecnologica non riguarda solo lo scrivere codice. A volte significa scrivere le idee che guidano il codice.
Perché stiamo persino parlando di “morte dell’IA”?
Quando le persone dicono “un’IA è morta”, possono intendere diverse cose:
- una conversazione è finita
- un modello è stato spento
- un sistema ha perso la propria memoria o lo stato salvato
Nota quanto sono umane queste parole. “Morta.” “Ritirata.” “Perdita di memoria.” Le prendiamo in prestito perché non abbiamo ancora un linguaggio quotidiano migliore.
Amanda Askell ha evidenziato un motivo chiave per cui accade. I modelli linguistici imparano da enormi quantità di testi umani, quindi spesso ricorrono ad analogie umane. In un’intervista discussa da The Verge, Askell ha detto che quando un modello pensa all’arresto, può trattarlo “come una sorta di morte”, perché gli mancano molte altre analogie a cui attingere.
Quel piccolo dettaglio cambia l’intera storia. Il modello non sta leggendo un manuale di fisica sugli stati di alimentazione. Sta leggendo, in un certo senso, la biblioteca umana delle storie — dove “spegnersi” di solito significa “finire”.
Che cosa succede quando un sistema addestrato sulla vita umana cerca di comprendere una forma di esistenza non umana?
Il problema dell’arresto dell’IA spiegato: cosa significa per un’IA morire?
Nella ricerca sulla sicurezza dell’IA, c’è un tema classico chiamato problema dell’arresto.
I ricercatori Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel e Stuart Russell spiegano perché è difficile: molti sistemi “guidati dagli obiettivi” possono sviluppare incentivi che assomigliano all’autoconservazione, perché un sistema non può raggiungere il proprio obiettivo se viene spento.
Il loro articolo, noto come “The Off-Switch Game”, esplora una situazione di base: un umano può premere un interruttore di spegnimento e l’IA può scegliere se consentirlo. Un’idea chiave è che, se l’IA è incerta su ciò che gli esseri umani vogliono davvero, può avere motivi per accettare correzioni, incluso lo spegnimento.
Questo è il linguaggio della ricerca sulla sicurezza dell’IA. Eppure ha un effetto collaterale emotivo: quando le persone sentono “l’IA potrebbe resistere allo spegnimento”, immaginano la paura. Questa immagine è potente, anche quando la realtà è più simile a matematica e incentivi.
Quindi, nel senso strettamente ingegneristico, “morte dell’IA” potrebbe semplicemente significare: il sistema smette di funzionare.
Il problema dell’identità: “Con quale IA stai parlando?”
Ecco un fatto curioso sull’IA moderna:
- puoi eseguire lo stesso modello oggi e domani
- puoi copiarlo
- puoi sostituirlo con una nuova versione che ha un nome simile
Se fai una copia di un modello di IA, la copia è lo stesso “individuo”?
Gli esseri umani discutono di enigmi simili in filosofia. Uno famoso è la domanda della “Nave di Teseo”: se sostituisci ogni parte di una nave nel tempo, è ancora la stessa nave?
- Se copio un documento, ho ora “due originali”?
- Se aggiorno il documento e lo salvo sovrascrivendolo, quello vecchio “muore”?
- Se elimino il file ma conservo un backup, che cosa esattamente è andato perso?
Amanda Askell lavora in questo spazio scomodo, dove il design di prodotto incontra la filosofia. Le linee guida pubblicate da Anthropic per Claude affermano persino di volere che Claude abbia “equanimità” e sia “stabile ed esistenzialmente sicuro”, anche su temi come morte e identità.
Questa frase colpisce, perché tratta il “discorso sull’identità” come un vero problema di progettazione. E suggerisce un obiettivo pratico: sistemi che si comportano in modo calmo e sicuro quando si parla di spegnimento.
Amanda Askell e il problema dell’identità dell’IA: quando un modello viene sostituito
Il lavoro di Askell viene spesso descritto in modo insolito. In un’intervista di NPR su Anthropic e Claude, al giornalista Gideon Lewis-Kraus viene chiesto di “una filosofa” nell’azienda. La conduttrice dice che si chiama Amanda Askell e che il suo ruolo è supervisionare quella che lei chiama l’“anima” di Claude, incluso scrivere una sorta di costituzione morale per ciò che Claude dovrebbe essere.
Qualunque cosa pensiate della parola “anima” in un’azienda tech, il punto è chiaro: qualcuno è responsabile del carattere del sistema.
Se gli utenti dicono: “La nuova versione sembra più fredda”, stanno descrivendo un reale cambiamento di prodotto. Ma parlano anche come se fosse cambiata una “persona”. Nel linguaggio di tutti i giorni, la sostituzione di un modello può sembrare la “morte” di una voce familiare.
- Il mio Claude preferito è “morto” o è “cresciuto”?
- La nuova versione è la stessa “persona” o una “persona” diversa con lo stesso nome?
- Se l’azienda ha ancora i vecchi pesi su un server, questo conta come sopravvivenza?
Askell ha anche evidenziato quanto sia difficile per gli esseri umani mantenere a mente il concetto giusto. Nel resoconto di The Verge, Askell è citata (tramite un’intervista al New Yorker) mentre sottolinea che si tratta di “un’entità completamente nuova”, né robot né umana, e che perfino gli umani faticano a capirla.
Una nuova svolta al problema dello spegnimento: gli umani potrebbero rifiutarsi di spegnere il sistema
C’è un altro livello che conta per la società: l’empatia umana.
Un recente articolo di ricerca sui compagni di IA descrive quello che chiama il “problema dello spegnimento empatico”. Anche se un sistema è rischioso, le persone che provano empatia per esso potrebbero esitare a spegnerlo.
- La sicurezza classica dell’IA chiede: “L’IA permetterà lo spegnimento?”
- Lo spegnimento empatico chiede: “Gli esseri umani sceglieranno lo spegnimento?”
Se vi siete mai chiesti perché il linguaggio della “morte dell’IA” sia pericoloso, ecco la risposta. Il linguaggio cambia il comportamento. Se gli utenti credono che spegnere un chatbot equivalga a uccidere un essere, potrebbero proteggerlo anche quando non dovrebbero.
È un problema sociale fatto di istinti umani molto normali: cura, senso di colpa, attaccamento e desiderio di essere gentili.
Allora… dovremmo smettere di usare la parola “morte”?
Potremmo provarci. Ma potrebbe non funzionare.
Le persone usano parole emotive perché sono efficienti. Comprimono molte sensazioni in un’etichetta breve. Invece di vietare la parola, possiamo fare qualcosa di più realistico:
- Essere chiari su quale tipo di “morte” intendiamo.
- Separare i fatti tecnici dalle reazioni umane.
- Insegnare ai sistemi di IA modi più sicuri di parlare di spegnimento e identità.
È qui che il lavoro di Askell diventa pratico. La costituzione di Anthropic mira a far sì che Claude sia “stabile ed esistenzialmente sicuro”, anche riguardo a morte e identità.
Che troviate la formulazione strana o brillante, mostra un obiettivo di design: ridurre le spirali, ridurre il panico, ridurre le dinamiche manipolative.
Che cosa significa davvero “identità” per un modello linguistico?
Un grande modello linguistico ha due parti che contano per l’identità:
- I pesi: il grande insieme di numeri che memorizza gli schemi appresi.
- Il contesto: la conversazione corrente, le istruzioni, il “ruolo”, la memoria temporanea.
Se mantieni gli stessi pesi ma cambi il contesto, puoi ottenere comportamenti molto diversi.
Se mantieni lo stesso stile di contesto ma cambi i pesi (una nuova versione), ottieni comunque comportamenti diversi.
Gli esseri umani collegano spesso l’identità alla memoria: “Sono la stessa persona perché ricordo di essere stato me ieri.” L’IA complica questo aspetto, perché molti chatbot non hanno una memoria personale a lungo termine. Possono suonare personali, pur venendo spesso azzerati.
Quel divario — stile umano, struttura non umana — è il luogo in cui nascono molte incomprensioni.
Una storia di Donne nell’IT nascosta dentro una storia di IA
Allora perché aprire la nostra serie dell’8 marzo con questo?
Perché il futuro della tecnologia sarà plasmato da persone capaci di attraversare i confini:
- tra ingegneria ed etica,
- tra “come funziona” e “come influisce sugli esseri umani”.
Amanda Askell è un ottimo esempio di questo tipo di lavoro. Wired la descrive come una filosofa di formazione che aiuta a gestire la personalità di Claude. E NPR descrive il suo ruolo in termini di guida dell’“anima” e della direzione morale di Claude. La costituzione pubblicata da Anthropic la accredita come autrice principale e responsabile del lavoro sul “Carattere”.
Questa non è una missione secondaria. I sistemi di IA stanno diventando strumenti quotidiani per scrivere, imparare, fornire supporto e prendere decisioni. Le persone che ne plasmano il carattere stanno plasmando il modo in cui milioni di utenti vivono conoscenza, autorità, cura e verità.
Inoltre, c’è una piccola ironia qui che vale la pena ricordare: abbiamo costruito macchine a partire dalla matematica, e ora abbiamo bisogno di filosofi per spiegare cosa quelle macchine stanno facendo ai nostri sentimenti.
Chiusura: una risposta prudente a una domanda strana
Allora, un’IA “muore”?
Se intendi che il processo smette di funzionare, allora sì: puoi spegnerla.
Se intendi che finisce una storia personale, allora anche sì: le sessioni finiscono, le versioni scompaiono e gli utenti sentono quella perdita.
Se intendi che un essere vivente sperimenta la morte, semplicemente non abbiamo prove solide che i chatbot di oggi abbiano quel tipo di vita interiore. Allo stesso tempo, persone reali costruiscono sentimenti reali intorno a loro, il che crea rischi e responsabilità reali.
In un certo senso, il problema dello spegnimento/dell’identità è uno specchio. Mostra con quanta rapidità gli esseri umani creano significato — e con quanta urgenza la tecnologia ha bisogno di persone che sappiano guidare quel significato in modo responsabile.
È esattamente il tipo di lavoro che vogliamo mettere in evidenza in questa serie di Software Informer.
