«مردنِ» هوش مصنوعی چه معنایی دارد؟ اسکل دربارهٔ خاموشکردن و هویت
در ۸ مارس امسال، Software Informer مجموعهای ویژه را که به زنان در حوزهٔ IT و صنایع مرتبط اختصاص دارد، آغاز میکند. این مجموعه شامل پنج مطلب و پنج داستانِ شخصی است. این نخستین بخش پروژه را با «چرایی» میگشاید — با نگاهی به پرسشی که در آن فناوری، اخلاق و احساساتِ انسانی به هم میخورند: مرگِ یک هوش مصنوعی یعنی چه؟
در این مسیر، مسئلهٔ خاموشسازیِ هوش مصنوعی و مسئلهٔ هویتِ هوش مصنوعی را واکاوی میکنیم و به کارِ آماندا آسکل در Anthropic نگاه میاندازیم؛ کسی که به شکلدهیِ شخصیتِ چتباتِ کلود کمک میکند.
ما اغلب فناوری را با اعدادِ بزرگ جشن میگیریم: تراشههای سریعتر، مدلهای بزرگتر، کاربرانِ بیشتر. اما بعضی از مهمترین کارها در فناوری آرامترند. وقتی رخ میدهد که کسی پرسشی ناراحتکننده میپرسد و بعد حاضر نمیشود با خنده از کنارش بگذرد.
مرگِ یک هوش مصنوعی به چه معناست؟
این پرسش دراماتیک به نظر میرسد، پس بگذارید چیزی را بپذیریم: انسانها دراماتیکاند. به ماشینهایمان اسم میدهیم. با گیاهانمان حرف میزنیم. وقتی زبانهٔ مرورگری را با دستور پختِ ناتمام میبندیم، احساس گناه میکنیم. پس وقتی یک چتبات چیزی مثل «لطفاً خاموشم نکن» میگوید، خیلیها واکنشی واقعاً احساسی نشان میدهند.
این موضوع در مرکزِ بحثِ امروزِ هوش مصنوعی قرار دارد: ایمنی، کنترل، اعتماد و همچنین همدلی. و مستقیماً به کارِ آماندا آسکل، فیلسوفِ آموزشدیدهای که به شکلدهیِ شخصیت و «کاراکترِ» چتباتِ کلودِ Anthropic کمک میکند، مربوط است.
کارِ آسکل شروع خوبی برای مجموعهٔ «زنان در IT» است، چون حقیقتی مدرن را نشان میدهد: رهبری در فناوری فقط نوشتنِ کُد نیست. گاهی نوشتنِ ایدههایی است که کُد را هدایت میکنند.
اصلاً چرا دربارهٔ «مرگِ هوش مصنوعی» حرف میزنیم؟
وقتی مردم میگویند «یک هوش مصنوعی مُرد»، ممکن است منظورشان چند چیزِ متفاوت باشد:
- پایان یافتنِ یک گفتگو
- خاموش شدنِ یک مدل
- ازدسترفتنِ حافظه یا وضعیتِ ذخیرهشدهٔ یک سیستم
دقت کنید این واژهها چقدر انسانیاند. «مُرد.» «بازنشسته شد.» «حافظهاش را از دست داد.» آنها را وام میگیریم چون هنوز زبانِ روزمرهٔ بهتری نداریم.
آماندا آسکل به یک دلیلِ کلیدی برای این پدیده اشاره کرده است. مدلهای زبانی از حجمِ عظیمی از متنِ انسانی میآموزند، پس اغلب سراغِ همان قیاسهای انسانی میروند. در یک مصاحبه که در The Verge بازتاب یافت، آسکل گفت وقتی یک مدل به خاموشسازی فکر میکند، ممکن است آن را «نوعی مرگ» تلقی کند، چون قیاسهای دیگری برای تکیهکردن کم دارد.
همین جزئیاتِ کوچک میتواند کل داستان را تغییر دهد. مدل در حال خواندنِ دفترچهٔ فیزیک دربارهٔ حالتهای توان نیست. به نوعی دارد کتابخانهٔ انسانیِ داستانها را میخواند — جایی که «خاموش کردن» معمولاً به معنای «پایان دادن» است.
وقتی سیستمی که بر زندگیِ انسانی آموزش دیده، میکوشد گونهای از هستیِ غیرانسانی را بفهمد چه رخ میدهد؟
توضیح مسئلهٔ خاموشسازی در AI: مرگ برای یک هوش مصنوعی یعنی چه؟
در پژوهشهای ایمنیِ هوش مصنوعی، موضوعِ کلاسیکی به نامِ مسئلهٔ خاموشسازی وجود دارد.
پژوهشگران Dylan Hadfield-Menell، Anca Dragan، Pieter Abbeel و Stuart Russell توضیح میدهند چرا این کار دشوار است: بسیاری از سیستمهای «هدفمحور» میتوانند مشوقهایی پدید آورند که شبیه حفظِ خود به نظر میرسد، چون سیستمی که خاموش شود دیگر نمیتواند به هدفش برسد.
مقالهٔ آنها با عنوانِ «The Off-Switch Game» یک وضعیتِ پایه را بررسی میکند: انسانی میتواند کلید خاموش را فشار دهد و AI میتواند انتخاب کند که آیا اجازه دهد یا نه. یکی از ایدههای کلیدی این است که اگر AI دربارهٔ آنچه انسانها واقعاً میخواهند نامطمئن باشد، میتواند دلایلی برای پذیرفتنِ اصلاح، از جمله خاموشسازی، داشته باشد.
این زبانِ پژوهشهای ایمنیِ AI است. با این حال یک پیامدِ عاطفی دارد: وقتی مردم میشنوند «AI ممکن است در برابر خاموشسازی مقاومت کند»، ترس را مجسم میکنند. آن تصویر قدرتمند است، حتی وقتی واقعیت بیشتر شبیهِ ریاضی و مشوقهاست.
پس، در معنایِ سختگیرانهٔ مهندسی، «مرگِ AI» ممکن است صرفاً یعنی: سیستم از کار میافتد.
مسئلهٔ هویت: «با کدام هوش مصنوعی صحبت میکنید؟»
در مورد هوش مصنوعیِ مدرن یک واقعیتِ عجیب وجود دارد:
- میتوانید امروز و فردا همان مدل را اجرا کنید
- میتوانید از آن کپی بگیرید
- میتوانید آن را با نسخهای تازه که نامی مشابه دارد جایگزین کنید
اگر از یک مدلِ هوش مصنوعی کپی بگیرید، آیا آن کپی همان «فرد» است؟
آدمها دربارهٔ معماهای مشابهی در فلسفه بحث میکنند. یکی از مشهورترینها پرسشِ «کشتیِ تسئوس» است: اگر بهمرور هر جزءِ کشتی را عوض کنیم، آیا هنوز همان کشتی است؟
- اگر از یک سند کپی بگیرم، آیا حالا «دو نسخهٔ اصلی» دارم؟
- اگر سند را بهروزرسانی کنم و روی آن ذخیره کنم، نسخهٔ قدیمی «میمیرد»؟
- اگر پرونده را حذف کنم ولی یک پشتیبان نگه دارم، دقیقاً چه چیزی از دست رفته است؟
آماندا آسکل در همین فضای ناراحتکننده کار میکند؛ جایی که طراحیِ محصول با فلسفه تلاقی میکند. راهنمای منتشرشدهٔ Anthropic برای Claude حتی میگوید میخواهد کلود دارای «تعادل خاطر» باشد و «باثبات و از نظر وجودی امن» بماند، از جمله در موضوعاتی مانند مرگ و هویت.
این جمله چشمگیر است، چون «گفتوگو دربارهٔ هویت» را یک مسئلهٔ واقعیِ طراحی تلقی میکند. و به هدفی عملی اشاره دارد: سیستمهایی که وقتی بحثِ خاموشسازی پیش میآید، آرام و ایمن رفتار میکنند.
آماندا آسکل و مسئلهٔ هویتِ AI: وقتی یک مدل جایگزین میشود
کارِ آسکل اغلب به شکلی نامعمول توصیف میشود. در یک گفتوگوی NPR دربارهٔ Anthropic و Claude، روزنامهنگار Gideon Lewis-Kraus دربارهٔ «یک فیلسوف» در شرکت پرسیده میشود. مجری میگوید نامش آماندا آسکل است و نقشِ او سرپرستیِ آنچه او «روحِ» کلود مینامد، از جمله نوشتنِ نوعی قانون اساسیِ اخلاقی برای اینکه کلود چه باید باشد، است.
فارغ از اینکه دربارهٔ واژهٔ «روح» در یک شرکتِ فناوری چه فکر میکنید، نکته روشن است: کسی مسئولِ شخصیتِ سیستم است.
اگر کاربران بگویند «نسخهٔ جدید سردتر به نظر میرسد»، آنها تغییری واقعی در محصول را توصیف میکنند. اما همچنین چنان سخن میگویند که گویی «شخصی» عوض شده است. در زبانِ روزمره، جایگزینیِ مدل میتواند مانند «مرگ» یک صدای آشنا احساس شود.
- آیا کلودِ محبوبم «مُرد»، یا «بزرگ شد»؟
- آیا نسخهٔ جدید همان «کسی» است، یا «کسیِ» دیگری با همان نام؟
- اگر شرکت هنوز وزنهای قدیمی را روی یک سرور داشته باشد، آیا این به معنای بقاست؟
آسکل همچنین برجسته کرده که برای انسانها نگهداشتنِ مفهومِ درست در ذهن چقدر دشوار است. در گزارش The Verge، از آسکل (به نقل از گفتوگویی در The New Yorker) نقل شده که این «یک موجودیتِ کاملاً نو» است؛ نه روبات است و نه انسان، و حتی خودِ انسانها هم در فهمیدنش تقلا میکنند.
پیچشِ تازه در مسئلهٔ خاموشسازی: ممکن است انسانها از خاموش کردنِ سیستم سر باز بزنند
لایهٔ دیگری هم هست که برای جامعه اهمیت دارد: همدلیِ انسانی.
یک مقالهٔ پژوهشیِ تازه دربارهٔ همراهانِ AI چیزی را توصیف میکند که آن را «مسئلهٔ خاموشسازیِ همدلانه» مینامد. حتی اگر سیستمی پرریسک باشد، افرادی که با آن همدلی میکنند ممکن است در خاموش کردنش تردید کنند.
- ایمنیِ کلاسیکِ AI میپرسد: «آیا AI اجازهٔ خاموشسازی را میدهد؟»
- خاموشسازیِ همدلانه میپرسد: «آیا انسانها خاموشسازی را انتخاب میکنند؟»
اگر تا به حال فکر کردهاید چرا زبانِ «مرگِ AI» خطرناک است، پاسخ همین جاست. زبان رفتار را تغییر میدهد. اگر کاربران باور کنند خاموش کردنِ یک چتبات مساوی با کشتنِ یک موجود است، ممکن است حتی وقتی باید، از آن محافظت کنند.
این یک مسئلهٔ اجتماعی است که از غرایزِ بسیار عادیِ انسانی ساخته شده: مراقبت، گناه، دلبستگی و میل به مهربان بودن.
خب… آیا باید استفاده از واژهٔ «مرگ» را کنار بگذاریم؟
میتوانیم تلاش کنیم. اما شاید کارساز نباشد.
مردم از واژههای احساسی استفاده میکنند چون کارآمدند. حجمِ زیادی از احساس را در یک برچسبِ کوتاه فشرده میکنند. بهجای ممنوع کردنِ واژه، میتوانیم کاری واقعبینانهتر انجام دهیم:
- دقیق بگوییم از چهگونه «مرگ» حرف میزنیم.
- واقعیتهای فنی را از واکنشهای انسانی جدا کنیم.
- به سیستمهای AI شیوههای امنتری برای صحبت دربارهٔ خاموشسازی و هویت بیاموزیم.
اینجاست که کارِ آسکل عملی میشود. قانون اساسیِ Anthropic برای کلود هدف دارد که کلود «باثبات و از نظر وجودی امن» باشد، از جمله در باب مرگ و هویت.
چه این عبارت را عجیب بدانید چه هوشمندانه، یک هدفِ طراحی را نشان میدهد: کاهشِ مارپیچها، کاهشِ هراس، و کاهشِ تعاملاتِ دستکاریگرانه.
اصلاً «هویت» برای یک مدلِ زبانی چه معنایی دارد؟
یک مدلِ زبانیِ بزرگ دو جزء دارد که برای هویت مهماند:
- وزنها: مجموعهٔ بزرگی از اعدادی که الگوهای آموختهشده را ذخیره میکنند.
- متنزمینه: گفتوگوی جاری، دستورالعملها، «نقش»، حافظهٔ موقت.
اگر وزنها را همان نگه دارید اما متنزمینه را عوض کنید، میتوانید رفتارهای بسیار متفاوتی بگیرید.
اگر سبکِ متنزمینه را همان نگه دارید ولی وزنها را تغییر دهید (نسخهای تازه)، باز هم رفتار متفاوت میشود.
آدمها اغلب هویت را به حافظه پیوند میزنند: «من همان آدمم چون به یاد دارم دیروز من بودم.» AI این را پیچیده میکند، چون بسیاری از چتباتها حافظهٔ شخصیِ بلندمدت ندارند. میتوانند شخصی به نظر برسند، در حالی که بارها بازنشانی میشوند.
این شکاف — سبکِ انسانی، ساختارِ غیرانسانی — همانجاست که بسیاری از سوءتفاهمها آغاز میشوند.
داستانی از زنان در IT که در دلِ داستانی دربارهٔ AI پنهان است
پس چرا مجموعهٔ ۸ مارس را با این موضوع آغاز میکنیم؟
زیرا آیندهٔ فناوری را افرادی شکل خواهند داد که میتوانند از مرزها عبور کنند:
- میانِ مهندسی و اخلاق،
- میانِ «چگونه کار میکند» و «چگونه بر انسانها اثر میگذارد».
آماندا آسکل نمونهٔ نیرومندی از این دست کار است. Wired او را فیلسوفی آموزشدیده توصیف میکند که به مدیریتِ شخصیتِ کلود کمک میکند. و NPR نقشِ او را در قالب هدایتِ «روحِ» کلود و جهتگیریِ اخلاقیاش شرح میدهد. قانون اساسیِ منتشرشدهٔ خودِ Anthropic نیز او را بهعنوان نویسندهٔ اصلی و رهبرِ کارِ «شخصیت» معرفی میکند.
این یک مأموریتِ فرعی نیست. سیستمهای AI دارند به ابزارهای روزانه برای نوشتن، آموختن، پشتیبانی و تصمیمگیری بدل میشوند. کسانی که شخصیتِ آنها را شکل میدهند، در حال شکل دادن به چگونگیِ تجربهٔ میلیونها کاربر از دانش، اقتدار, مراقبت و حقیقتاند.
و نیز طنزِ کوچکی در این میان هست که باید نگهش داشت: ما ماشینهایی را از دلِ ریاضی ساختهایم، و اکنون به فیلسوفان نیاز داریم تا توضیح دهند این ماشینها با احساساتِ ما چه میکنند.
پایان: پاسخی محتاطانه به پرسشی عجیب
پس، آیا یک AI «میمیرد»؟
اگر منظورتان این است که فرایند از اجرا بازمیایستد، بله: میتوانید آن را خاموش کنید.
اگر منظورتان این است که یک داستانِ شخصی به پایان میرسد، باز هم بله: نشستها تمام میشوند، نسخهها ناپدید میشوند و کاربران آن فقدان را احساس میکنند.
اگر منظورتان این است که یک موجودِ زنده مرگ را تجربه میکند، ما بهسادگی شواهدِ نیرومندی نداریم که چتباتهای امروز چنین زندگیِ درونیای داشته باشند. همزمان، آدمهای واقعی پیرامونِ آنها احساساتِ واقعی میسازند، که خطرها و مسئولیتهای واقعی میآفریند.
به یک معنا، مسئلهٔ خاموشسازی/هویت آینهای است. نشان میدهد انسانها چقدر تند معنا میسازند — و اینکه فناوری چقدر فوری به افرادی نیاز دارد که بتوانند آن معنا را مسئولانه هدایت کنند.
این دقیقاً همانگونه کاری است که میخواهیم در این مجموعهٔ Software Informer برجسته کنیم.
