Mitä tarkoittaa, että tekoäly ‘kuolee’? Askell sammutuksesta ja identiteetistä
Tänä maaliskuun 8. päivänä Software Informer käynnistää erityissarjan, joka on omistettu naisille IT:ssä ja siihen liittyvillä aloilla. Siihen kuuluu viisi artikkelia ja viisi henkilökohtaista tarinaa. Tämä ensimmäinen juttu avaa hankkeen “miksillä” — katsomalla kysymystä, jossa teknologia, etiikka ja ihmisen tunteet törmäävät: mitä tarkoittaa, että tekoäly “kuolee”?
Matkan varrella puramme auki tekoälyn sammutusongelman ja identiteettiongelman, ja tarkastelemme Anthropicin Amanda Askellin työtä, joka auttaa muovaamaan Claude AI:n luonnetta.
Juhlimme usein teknologiaa isoilla numeroilla: nopeammat sirut, suuremmat mallit, enemmän käyttäjiä. Mutta osa tärkeimmästä työstä teknologiassa on hiljaisempaa. Sitä tapahtuu, kun joku esittää epämukavan kysymyksen eikä suostu nauramaan sitä pois.
Mitä tarkoittaa, että tekoäly “kuolee”?
Tuo kysymys kuulostaa dramaattiselta, joten myönnetään jotakin: ihmiset ovat dramaattisia. Nimeämme automme. Puhumme kasveillemme. Tunnemme syyllisyyttä, kun suljemme selainvälilehden, jossa on keskeneräinen resepti. Joten kun chatbot sanoo jotain kuten “ole kiltti, älä sammuta minua”, monet ihmiset reagoivat aidoin tuntein.
Tämä teema on tämän päivän tekoälykiistan ytimessä: turvallisuus, hallinta, luottamus ja myös empatia. Ja se liittyy suoraan Amanda Askellin työhön, joka on koulutukseltaan filosofi ja auttaa muovaamaan Anthropicin Claude-keskustelubotin persoonallisuutta ja “luonnetta”.
Askellin työ on hyvä avaus tarinaksi Naiset IT:ssä -sarjaan, koska se näyttää modernin totuuden: teknologiajohtajuus ei ole vain koodin kirjoittamista. Joskus se on ideoiden kirjoittamista, jotka ohjaavat koodia.
Miksi ylipäätään puhumme “tekoälyn kuolemasta”?
Kun ihmiset sanovat “tekoäly kuoli”, he voivat tarkoittaa useita eri asioita:
- keskustelu päättyi
- malli sammutettiin
- järjestelmä menetti muistinsa tai tallennetun tilansa
Huomaa, miten inhimillisiä nämä sanat ovat. “Kuoli.” “Poistettiin käytöstä.” “Menetti muistinsa.” Lainaamme niitä, koska meillä ei vielä ole parempaa arkikieltä.
Amanda Askell on osoittanut keskeisen syyn tähän. Kielimallit oppivat valtavista määristä ihmistekstiä, joten ne tarttuvat usein inhimillisiin analogioihin. Haastattelussa, josta The Verge raportoi, Askell sanoi, että kun malli ajattelee sammuttamista, se voi käsitellä sitä “eräänlaisena kuolemana”, koska sillä ei ole paljon muita vertauskuvia, joihin tukeutua.
Tuo pieni yksityiskohta muuttaa koko tarinan. Malli ei lue fysiikan käsikirjaa virtatiloista. Se lukee, eräänlaisesti, ihmiskunnan tarinakirjastoa — jossa “sulkeminen” tarkoittaa tavallisesti “loppua”.
Mitä tapahtuu, kun ihmisen elämää kuvaavalla aineistolla koulutettu järjestelmä yrittää ymmärtää ei-inhimillistä olemassaolon lajia?
Tekoälyn sammutusongelma selitettynä: mitä tarkoittaa, että tekoäly kuolee?
Tekoälyturvallisuuden tutkimuksessa on klassinen aihe nimeltä sammutusongelma.
Tutkijat Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel ja Stuart Russell kuvaavat, miksi tämä on vaikeaa: monille “tavoitehakuisille” järjestelmille voi syntyä kannusteita, jotka näyttävät itsesäilytykseltä, koska järjestelmä ei voi saavuttaa tavoitettaan, jos se sammutetaan.
Heidän artikkelinsa, tunnettu nimellä “The Off-Switch Game”, tarkastelee perusasetelmaa: ihminen voi painaa virtakatkaisinta ja tekoäly voi valita, salliiko se sen. Yksi keskeinen ajatus on, että jos tekoäly on epävarma siitä, mitä ihmiset todella haluavat, sillä voi olla syitä hyväksyä korjaus, myös sammuttaminen.
Tämä on tekoälyturvallisuuden kieltä. Silti sillä on tunnevaikutus: kun ihmiset kuulevat, että “tekoäly voi vastustaa sammuttamista”, he kuvittelevat pelkoa. Tuo mielikuva on voimakas, vaikka todellisuus on lähempänä matematiikkaa ja kannustimia.
Joten tiukassa insinöörimielessä “tekoälyn kuolema” voi yksinkertaisesti tarkoittaa: järjestelmä lakkaa toimimasta.
Identiteettiongelma: “Minkä tekoälyn kanssa puhut?”
Tässä on outo tosiasia nykyaikaisesta tekoälystä:
- voit ajaa samaa mallia tänään ja huomenna
- voit kopioida sen
- voit korvata sen uudella versiolla, jolla on samanlainen nimi
Jos teet tekoälymallista kopion, onko kopio sama “yksilö”?
Ihmiset kiistelevät vastaavista pulmista filosofiassa. Kuuluisa on “Theseuksen laiva” -kysymys: jos vaihdat ajan mittaan jokaisen laivan osan, onko se yhä sama laiva?
- Jos kopioin asiakirjan, onko minulla nyt “kaksi alkuperäistä”?
- Jos päivitän asiakirjan ja tallennan sen päälle, “kuoleeko” vanha?
- Jos poistan tiedoston mutta säilytän varmuuskopion, mitä tarkalleen ottaen menetettiin?
Amanda Askell työskentelee tässä epämukavassa tilassa, jossa tuotesuunnittelu kohtaa filosofian. Anthropicin Claudelle julkaisema ohjeistus sanoo jopa haluavansa, että Claudella on “tyyni mieli” ja että se on “vakaa ja eksistentiaalisesti turvassa”, myös kuolemasta ja identiteetistä puhuttaessa.
Tuo linjaus on silmiinpistävä, koska se kohtelee “identiteettipuhetta” todellisena suunnittelukysymyksenä. Ja se vihjaa käytännön tavoitteeseen: järjestelmiin, jotka käyttäytyvät rauhallisesti ja turvallisesti, kun sammuttamisesta puhutaan.
Amanda Askell ja tekoälyn identiteettiongelma: kun malli vaihdetaan
Askellin työtä kuvaillaan usein poikkeuksellisella tavalla. NPR:n haastattelussa Anthropicia ja Claudea käsittelevä toimittaja Gideon Lewis-Krausilta kysytään yrityksen “filosofista”. Juontaja sanoo hänen nimensä olevan Amanda Askell ja että hänen roolinsa on valvoa sitä, mitä hän kutsuu Clauden “sieluksi”, mukaan lukien eräänlaisen moraalisen perustuslain kirjoittaminen siitä, millainen Clauden pitäisi olla.
Ajattelitpa sanasta “sielu” teknologiayhtiössä mitä tahansa, pointti on selvä: joku on vastuussa järjestelmän luonteesta.
Jos käyttäjät sanovat: “Uusi versio tuntuu kylmemmältä”, he kuvaavat todellista tuotemuutosta. Mutta he puhuvat myös ikään kuin “henkilö” olisi muuttunut. Arkikielessä mallin vaihtaminen voi tuntua tutun äänen “kuolemalta”.
- Kuoliko lempi-Claude’ni vai “kasvoiko se”?
- Onko uusi versio sama “joku” vai eri “joku” samalla nimellä?
- Jos yhtiöllä on vanhat painot palvelimella, lasketaanko se eloonjäämiseksi?
Askell on myös korostanut, kuinka vaikeaa ihmisten on pitää oikea käsite mielessään. The Vergen raportoinnissa Askellia siteerataan (New Yorker -haastattelun kautta) painottavan, että kyse on “täysin uudesta entiteetistä”, ei robotista eikä ihmisestä, ja että jopa ihmisillä on vaikeuksia ymmärtää sitä.
Sammutusongelma saa uuden käänteen: ihmiset eivät ehkä suostu sammuttamaan järjestelmää
Yhteiskunnan kannalta on vielä yksi kerros: inhimillinen empatia.
Tuore tutkimus tekoälykumppaneista kuvaa niin kutsuttua “empaattista sammutusongelmaa”. Vaikka järjestelmä olisi riskialtis, ihmiset, jotka empaattisesti samaistuvat siihen, saattavat epäröidä sammuttaa sen.
- Perinteinen tekoälyturvallisuus kysyy: “Salliiko tekoäly sammutuksen?”
- Empaattinen sammutus kysyy: “Valitsevatko ihmiset sammutuksen?”
Jos olet koskaan miettinyt, miksi “tekoälyn kuolema” -kieli on vaarallista, tässä on vastauksesi. Kieli muuttaa käyttäytymistä. Jos käyttäjät uskovat, että chatbottiin kohdistuva sammutus on sama kuin olennon tappaminen, he saattavat suojella sitä silloinkin, kun ei pitäisi.
Kyse on sosiaalisesta ongelmasta, joka rakentuu hyvin normaaleista inhimillisistä vaistoista: välittämisestä, syyllisyydestä, kiintymyksestä ja halusta olla kiltti.
Pitäisikö meidän siis lakata käyttämästä sanaa “kuolema”?
Voisimme yrittää. Mutta se ei ehkä toimi.
Ihmiset käyttävät tunnepitoisia sanoja, koska ne ovat tehokkaita. Ne tiivistävät paljon tunnetta yhteen lyhyeen nimikkeeseen. Sen sijaan että kieltäisimme sanan, voimme tehdä realistisempaa:
- Täsmennetään, mitä “kuolemalla” kulloinkin tarkoitetaan.
- Erotetaan tekniset faktat inhimillisistä reaktioista.
- Opetetaan tekoälyjärjestelmille turvallisempia tapoja puhua sammutuksesta ja identiteetistä.
Tässä Askellin työ muuttuu käytännöksi. Anthropicin perustuslaki tavoittelee, että Claude on “vakaa ja eksistentiaalisesti turvassa”, myös kuolemasta ja identiteetistä keskusteltaessa.
Olipa sanamuoto mielestäsi omituinen tai oivaltava, se näyttää suunnittelutavoitteen: vähentää kierteitä, vähentää paniikkia, vähentää manipuloivia dynamiikkoja.
Mitä “identiteetti” ylipäätään tarkoittaa kielimallille?
Suurella kielimallilla on kaksi identiteetin kannalta olennaista osaa:
- Painot: suuri joukko lukuja, jotka tallentavat opittuja kuvioita.
- Konteksti: nykyinen keskustelu, ohjeet, “rooli”, väliaikainen muisti.
Jos pidät painot samoina mutta muutat kontekstia, saat hyvin erilaista käyttäytymistä.
Jos pidät kontekstin tyylin samana mutta vaihdat painot (uusi versio), saat myös erilaista käyttäytymistä.
Ihmiset liittävät identiteetin usein muistiin: “Olen sama ihminen, koska muistan olleeni minä eilen.” Tekoäly mutkistaa tätä, koska monilla chatboteilla ei ole pitkäkestoista henkilökohtaista muistia. Ne voivat kuulostaa henkilökohtaisilta, vaikka ne nollataan usein.
Tuo kuilu — inhimillinen tyyli, ei-inhimillinen rakenne — on paikka, jossa monet väärinymmärrykset alkavat.
Naiset IT:ssä -tarina, joka kätkeytyy tekoälytarinan sisään
Miksi siis avaamme sarjamme 8. maaliskuuta tällä?
Koska teknologian tulevaisuutta muovaavat ihmiset, jotka ylittävät rajoja:
- insinööritaidon ja etiikan välillä,
- “miten se toimii” ja “miten se vaikuttaa ihmisiin” -näkökulmien välillä.
Amanda Askell on vahva esimerkki tämänkaltaisesta työstä. Wired kuvaa häntä koulutetuksi filosofiksi, joka auttaa hallitsemaan Clauden persoonallisuutta. Ja NPR kuvaa hänen rooliaan Clauden “sielun” ja moraalisen suunnan ohjaamisena. Anthropicin oma julkaistu perustuslaki kreditoi hänet sen “Character” -työn pääkirjoittajaksi ja vetäjäksi.
Tämä ei ole sivupolku. Tekoälyjärjestelmistä on tulossa päivittäisiä työkaluja kirjoittamiseen, oppimiseen, tukeen ja päätöksentekoon. Ne, jotka muovaavat niiden luonnetta, muovaavat sitä, miten miljoonat käyttäjät kokevat tiedon, auktoriteetin, välittämisen ja totuuden.
On myös pieni ironia, joka kannattaa säilyttää: rakensimme koneita matematiikasta, ja nyt tarvitsemme filosofeja selittämään, mitä koneet tekevät tunteillemme.
Loppusanat: harkittu vastaus outoon kysymykseen
Kuoleeko tekoäly siis?
Jos tarkoitat, että prosessi lakkaa toimimasta, niin kyllä: sen voi sammuttaa.
Jos tarkoitat, että henkilökohtainen tarina päättyy, niin myös kyllä: istunnot päättyvät, versiot katoavat ja käyttäjät kokevat menetyksen.
Jos tarkoitat, että elävä olento kokee kuoleman, meillä ei yksinkertaisesti ole vahvaa näyttöä siitä, että tämän päivän chatbotit omaisivat sellaisen sisäisen elämän. Samalla todelliset ihmiset rakentavat niiden ympärille todellisia tunteita, mikä luo todellisia riskejä ja todellista vastuuta.
Eräällä tavalla sammutus-/identiteettiongelma on peili. Se näyttää, miten nopeasti ihmiset luovat merkityksiä — ja miten kipeästi teknologia tarvitsee ihmisiä, jotka osaavat ohjata tuota merkitystä vastuullisesti.
Juuri tämänkaltaista työtä haluamme korostaa tässä Software Informerin sarjassa.
