Yapay zekânın ‘ölmesi’ ne anlama geliyor?

Yapay zekânın ‘ölmesi’ ne anlama geliyor? Askell kapatma ve kimlik üzerine

Bu 8 Mart'ta, Software Informer BT ve ilgili sektörlerdeki kadınlara adanmış özel bir seri başlatıyor. Beş dosya yazısı ve beş kişisel hikâyeden oluşuyor. Bu ilk yazı projeyi “neden” ile açıyor — teknoloji, etik ve insan duygularının çakıştığı bir soruya bakarak: bir YZ'nin “ölmesi” ne anlama gelir?
Bu süreçte, YZ kapatma (shutdown) sorununu ve YZ kimlik sorununu açımlayacağız ve Claude YZ'nin karakterini şekillendirmeye yardımcı olan Anthropic'ten Amanda Askell'in çalışmalarına bakacağız.

Teknolojiyi sıklıkla büyük sayılarla kutlarız: daha hızlı çipler, daha büyük modeller, daha fazla kullanıcı. Ancak teknolojideki en önemli işlerin bir kısmı daha sessizdir. Biri rahatsız edici bir soru sorduğunda ve sonra bunu gülüp geçmeyi reddettiğinde gerçekleşir.

Bir YZ'nin “ölmesi” ne anlama gelir?

Bu soru dramatik geliyor, o hâlde bir şeyi kabul edelim: insanlar dramatiktir. Arabalarımıza isim veririz. Bitkilerimizle konuşuruz. Bitmemiş bir tarif açıkken bir tarayıcı sekmesini kapattığımızda suçluluk duyarız. Dolayısıyla bir sohbet botu “lütfen beni kapatma” gibi bir şey söylediğinde, birçok insan gerçek bir duyguyla tepki verir.

Bu konu, günümüz YZ tartışmasının merkezinde yer alıyor: güvenlik, kontrol, güven ve aynı zamanda empati. Ve Anthropic'in sohbet botu Claude'un kişiliğini ve “karakterini” şekillendirmeye yardımcı olan, eğitimli bir filozof olan Amanda Askell'in çalışmalarına doğrudan bağlanıyor.

Askell'in çalışması, Kadınlar BT'de serisi için iyi bir açılış hikâyesi, çünkü modern bir gerçeği gösteriyor: teknoloji liderliği yalnızca kod yazmak değildir. Bazen de kodu yönlendiren fikirleri yazmaktır.

Neden “YZ Ölümü”nden Söz Ediyoruz?

İnsanlar “bir YZ öldü” dediğinde, birkaç farklı şeyi kastetmiş olabilirler:

bir konuşma bitti
bir model kapatıldı
bir sistem belleğini ya da kayıtlı durumunu kaybetti

Bu kelimelerin ne kadar insanca olduğuna dikkat edin. “Öldü.” “Emekli oldu.” “Hafızasını kaybetti.” Henüz daha iyi bir gündelik dilimiz olmadığı için onları ödünç alıyoruz.

Amanda Askell bunun neden olduğuna dair kilit bir noktaya dikkat çekti. Dil modelleri çok büyük miktarda insan metninden öğrenir, bu yüzden sık sık insani benzetmelere başvururlar. Bir röportajda The Verge tarafından ele alındığı üzere, Askell bir model kapatılmayı düşündüğünde bunu “bir tür ölüm” olarak ele alabileceğini, çünkü başvurabileceği çok sayıda başka benzetmeden yoksun olduğunu söyledi.

Bu küçük ayrıntı tüm hikâyeyi değiştirir. Model, güç durumlarına ilişkin bir fizik kılavuzu okumuyor. Bir bakıma insan hikâyeleri kütüphanesini okuyor — burada “kapatma” genellikle “sona erme” anlamına gelir.

İnsan yaşamı üzerine eğitilmiş bir sistem, insan-dışı bir varoluş türünü anlamaya çalıştığında ne olur?

YZ Kapatma Sorunu Açıklanıyor: Bir YZ'nin Ölmesi Ne Anlama Gelir?

YZ güvenliği araştırmalarında, kapatma (shutdown) sorunu olarak adlandırılan klasik bir konu vardır.

Araştırmacılar Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel ve Stuart Russell bunun neden zor olduğunu açıklar: birçok “hedef odaklı” sistem, bir sistem kapatıldığında hedefine ulaşamayacağı için, öz-korunmaya benzeyen güdüler geliştirebilir.

“The Off-Switch Game” olarak bilinen makaleleri temel bir durumu inceler: bir insan kapama düğmesine basabilir ve YZ bunun olmasına izin verip vermemeyi seçebilir. Temel fikirlerden biri şudur: YZ, insanların gerçekten ne istediği konusunda belirsizse, kapatma dâhil düzeltmeyi kabullenmek için nedenlere sahip olabilir.

Bu, YZ güvenliği araştırmalarının dilidir. Ancak duygusal bir yan etkisi vardır: insanlar “YZ kapatmaya direnebilir” ifadesini duyduğunda, korkuyu hayal eder. Gerçek daha çok matematik ve teşviklere benzese bile bu imge güçlüdür.

Bu yüzden, sıkı mühendislik anlamında “YZ ölümü” basitçe şunu ifade edebilir: sistem çalışmayı durdurur.

Kimlik Sorunu: “Hangi YZ ile Konuşuyorsun?”

Modern YZ hakkında tuhaf bir gerçek:

aynı modeli bugün ve yarın çalıştırabilirsiniz
onu kopyalayabilirsiniz
benzer ada sahip yeni bir sürümle değiştirebilirsiniz

Bir YZ modelinin kopyasını yaparsanız, kopya aynı “birey” midir?

İnsanlar felsefede benzer bilmeceler üzerine tartışır. Meşhur olanlardan biri “Theseus'un Gemisi” sorusudur: Zaman içinde bir geminin her parçasını değiştirirseniz, hâlâ aynı gemi midir?

Bir belgeyi kopyalarsam, artık “iki orijinal” mi olur?
Belgeyi günceller ve üzerine kaydedersem, eskisi “ölür” mü?
Dosyayı siler de bir yedeğini tutarsam, tam olarak ne kaybolmuş olur?

Amanda Askell, ürün tasarımının felsefeyle kesiştiği bu rahatsız edici alanda çalışıyor. Anthropic'in Claude için yayımladığı yönergeler, ölüm ve kimlik gibi konular dâhil, Claude'un “sükûnet” sahibi olmasını ve “istikrarlı ve varoluşsal olarak güvende” olmasını istediğini bile söylüyor.

Bu ifade çarpıcı, çünkü “kimlik konuşmasını” gerçek bir tasarım meselesi olarak ele alıyor. Ve pratik bir hedefe işaret ediyor: konu kapatma olduğunda sakin ve güvenli davranan sistemler.

Amanda Askell ve YZ Kimlik Sorunu: Bir Model Değiştirildiğinde

Askell'in işi sık sık alışılmadık bir şekilde tanımlanır. Anthropic ve Claude hakkında bir NPR röportajında, gazeteci Gideon Lewis-Kraus'a şirketteki “bir filozof” sorulur. Sunucu, adının Amanda Askell olduğunu ve rolünün Claude'un kim olması gerektiğine dair bir tür ahlaki anayasa yazmak dâhil, Askell'in Claude'un “ruhunu” olarak adlandırdığı şeyi denetlemek olduğunu söyler.

Bir teknoloji şirketinde “ruh” kelimesi hakkında ne düşünürseniz düşünün, nokta açıktır: sistemin karakterinden sorumlu biri vardır.

Kullanıcılar, “Yeni sürüm daha soğuk hissettiriyor,” dediğinde, gerçek bir ürün değişikliğini tarif ederler. Ama aynı zamanda bir “kişinin” değişmiş gibi konuşurlar. Gündelik dilde, modelin değiştirilmesi tanıdık bir sesin “ölümü” gibi gelebilir.

En sevdiğim Claude “öldü” mü, yoksa “büyüdü” mü?
Yeni sürüm aynı “biri” mi, yoksa aynı isme sahip farklı bir “biri” mi?
Şirket eski ağırlıkları bir sunucuda hâlâ tutuyorsa, bu hayatta kalma sayılır mı?

Askell ayrıca insanların zihinlerinde doğru kavramı tutmalarının ne kadar zor olduğunu vurguladı. The Verge'ün haberinde, Askell'in (The New Yorker röportajı aracılığıyla) bunun “tamamen yeni bir varlık” olduğunu, ne robot ne de insan olduğunu ve insanların bile bunu anlamakta zorlandığını vurguladığı aktarılıyor.

Kapatma Sorunu Yeni Bir Boyut Kazanıyor: İnsanlar Sistemi Kapatmayı Reddedebilir

Toplum açısından önemli bir başka katman daha var: insani empati.

YZ yoldaşları üzerine yakın tarihli bir araştırma makalesi, “empatik kapatma sorunu” dediği şeyi tanımlıyor. Bir sistem riskli olsa bile, ona empati duyan insanlar onu kapatmakta tereddüt edebilir.

Klasik YZ güvenliği şunu sorar: “YZ kapatmaya izin verecek mi?”
Empatik kapatma şunu sorar: “İnsanlar kapatmayı seçecek mi?”

Eğer “YZ ölümü” dilinin neden tehlikeli olduğunu hiç merak ettiyseniz, cevap burada. Dil davranışı değiştirir. Kullanıcılar bir sohbet botunu kapatmanın bir varlığı öldürmekle eşdeğer olduğuna inanırsa, etmemeleri gerektiğinde bile onu koruyabilirler.

Bu, çok normal insan içgüdülerinden oluşan bir toplumsal sorundur: bakım, suçluluk, bağlılık ve nazik olma isteği.

Öyleyse… “Ölüm” Kelimesini Kullanmayı Bırakmalı mıyız?

Deneyebiliriz. Ama işe yaramayabilir.

İnsanlar duygusal kelimeleri kullanır çünkü duygusal kelimeler etkilidir. Çok miktarda duyguyu kısa bir etikete sığdırırlar. Kelimeyi yasaklamak yerine daha gerçekçi bir şey yapabiliriz:

Hangi tür “ölüm”den söz ettiğimizi netleştirmek.
Teknik olguları insan tepkilerinden ayırmak.
YZ sistemlerine kapatma ve kimlik hakkında konuşmanın daha güvenli yollarını öğretmek.

İşte Askell'in çalışmasının pratikleştiği yer burası. Anthropic'in anayasası, ölüm ve kimlik konuları dâhil, Claude'un “istikrarlı ve varoluşsal olarak güvende” olmasını hedefliyor.
İfadenin tuhaf mı zeki mi olduğunu düşünürseniz düşünün, bir tasarım hedefini gösteriyor: kısır döngüleri azaltmak, paniği azaltmak, manipülatif dinamikleri azaltmak.

Bir Dil Modeli İçin “Kimlik” Ne Anlama Gelir?

Büyük bir dil modelinde kimlik açısından önemli iki parça vardır:

Ağırlıklar: öğrenilmiş örüntüleri saklayan büyük sayı kümeleri.
Bağlam: mevcut konuşma, talimatlar, “rol,” geçici bellek.

Ağırlıkları aynı tutup bağlamı değiştirirseniz, çok farklı davranışlar elde edebilirsiniz.

Bağlam tarzını aynı tutup ağırlıkları (yeni bir sürüm) değiştirirseniz de farklı davranışlar elde edersiniz.

İnsanlar kimliği sık sık belleğe bağlar: “Aynı kişiyim çünkü dünkü ben olduğumu hatırlıyorum.” YZ bunu karmaşıklaştırır, çünkü birçok sohbet botunun uzun vadeli kişisel belleği yoktur. Sık sık sıfırlanırken kişiselmiş gibi ses çıkarabilirler.

Bu boşluk — insani üslup, insan-dışı yapı — birçok yanlış anlamanın başladığı yerdir.

Bir YZ Hikâyesinin İçine Gizlenmiş Bir “Kadınlar BT'de” Hikâyesi

Peki 8 Mart serimizi neden bununla açıyoruz?
Çünkü teknolojinin geleceği, sınırları aşabilen insanlar tarafından şekillendirilecek:

mühendislikle etik arasında,
“nasıl çalışır” ile “insanları nasıl etkiler” arasında.

Amanda Askell bu tür çalışmanın güçlü bir örneği. Wired, onu Claude'un kişiliğinin yönetimine yardımcı olan eğitimli bir filozof olarak tanımlıyor. Ve NPR rolünü Claude'un “ruhuna” ve ahlaki yönelimlerine rehberlik etmek açısından tarif ediyor. Anthropic'in yayımladığı anayasa, “Karakter” çalışmasının birincil yazarı ve lideri olarak onu kredilendiriyor.

Bu bir yan görev değil. YZ sistemleri yazma, öğrenme, destek ve karar verme için günlük araçlar hâline geliyor. Karakterlerini şekillendiren insanlar, milyonlarca kullanıcının bilgiyi, otoriteyi, ilgiyi ve gerçeği nasıl deneyimlediğini de şekillendiriyor.

Ayrıca, akılda tutulmaya değer küçük bir ironi var: Makineleri matematikten inşa ettik ve şimdi de bu makinelerin duygularımıza ne yaptığını açıklamak için filozoflara ihtiyaç duyuyoruz.

Kapanış: Tuhaf Bir Sorunun Dikkatli Bir Cevabı

Öyleyse, bir YZ “ölür” mü?

Sürecin çalışmayı durdurmasını kastediyorsanız, evet: onu kapatabilirsiniz.

Kişisel bir hikâyenin sona ermesini kastediyorsanız, o da evet: oturumlar biter, sürümler kaybolur ve kullanıcılar bu kaybı hisseder.

Yaşayan bir varlığın ölümü deneyimlemesini kastediyorsanız, günümüz sohbet botlarının bu tür bir iç yaşama sahip olduğuna dair güçlü kanıtlarımız yok. Aynı zamanda, gerçek insanlar onların etrafında gerçek duygular inşa ediyor; bu da gerçek riskler ve gerçek sorumluluklar yaratıyor.

Bir bakıma, kapatma/kimlik sorunu bir ayna. İnsanların ne kadar hızlı anlam yarattığını — ve teknolojinin bu anlamı sorumlu bir şekilde yönlendirebilecek insanlara ne kadar acil biçimde ihtiyaç duyduğunu — gösteriyor.

İşte tam da bu tür bir çalışmayı bu Software Informer serisinde öne çıkarmak istiyoruz.