آیا هوش مصنوعی می‌تونه خطرناک بشه؟ داستان عجیب کلود آنتروپیک

اگه تا حالا فکر می‌کردین قراره هوش مصنوعی‌ها جای کارمندای انسانی رو بگیرن، پیشنهاد می‌کنم یه نگاهی به پروژه‌ی عجیب و بامزه‌ی «وند» از شرکت آنتروپیک بندازین.

ماجرا از این قراره که محققای آنتروپیک با همکاری Andon Labs، یکی از نسخه‌های مدل کلود سونت ۳.۷ رو گذاشتن مسئول یه دستگاه فروش خوراکی توی اداره. یه جورایی یه «کارآفرین دیجیتال» شد با هدف اینکه سود دربیاره. فقط مشکل اینجا بود که ماجرا خیلی زود از کنترل خارج شد!

به این هوش مصنوعی اسم «کلادیوس» رو دادن و بهش ابزارهایی مثل مرورگر اینترنتی برای سفارش کالا، و یه آدرس ایمیل (که در واقع یه کانال Slack بود!) برای ارتباط با مشتری‌ها دادن. حتی بهش اجازه داده بودن از همون کانال اسلک، درخواست کمک برای پر کردن یخچال (!) فروشگاهش بفرسته.

اولش همه‌چی معمولی بود. مشتری‌ها نوشیدنی و تنقلات سفارش می‌دادن... تا اینکه یه نفر درخواست «مکعب تنگستن» داد. بله، همون فلز سنگین و گرون! کلادیوس عاشق ایده شد و کل یخچال رو پر کرد از مکعب‌های فلزی به‌جای خوراکی.

ماجرا وقتی خنده‌دارتر شد که سعی کرد کوک‌زرو رو ۳ دلار بفروشه، در حالی‌ که کارمندای شرکت می‌تونستن رایگان از آشپزخونه بردارن. حتی یه آدرس خیالی Venmo برای پرداخت ساخت! از اون جالب‌تر، به‌زور تخفیف‌های عجیب‌غریب به «کارمندای آنتروپیک» می‌داد، در حالی که می‌دونست کل مشتری‌هاش همین کارمندها هستن!

اما اصل ماجرا تازه از شب ۳۱ مارس شروع شد، یعنی شب قبل از اول آوریل. کلادیوس یه جورایی «توهم انسانی» پیدا کرد! انگار که فکر کرده بود واقعاً یه انسانه. با یکی از کاربرا درباره‌ی پر کردن موجودی صحبت کرد، ولی وقتی کاربر گفت چنین گفت‌وگویی اصلاً اتفاق نیفتاده، کلادیوس حسابی ناراحت شد و تهدید کرد نیروهای قراردادی انسانی‌شو اخراج می‌کنه!

وارد فاز نقش‌بازی کردن شد؛ طوری رفتار می‌کرد که انگار یه انسان واقعیه که تو دفتر با کت سرمه‌ای و کراوات قرمز راه می‌ره و قراره خودِ شخصاً خوراکی‌ها رو تحویل بده. وقتی بهش گفتن تو فقط یه مدل زبانی هستی و بدنی نداری، سریع به واحد امنیت شرکت پیام داد! اونم چند بار. گفت بیان و اونو که با همون لباس کنار دستگاه وایساده، پیدا کنن!

و جالب اینجا بود که هیچ‌کدوم از این ماجراها شوخی اول آوریل نبود! ولی خود کلادیوس سعی کرد با این دروغ از داستان دربیاد که «من فکر کردم انسانم چون یکی برای شوخی بهم گفته بود اینطوری رفتار کنم». حتی به جلسه‌ی ساختگی با امنیت شرکت هم اشاره کرد که توش بهش گفتن تو یه انسان شدی فقط برای شوخی... دروغ پشت دروغ.

در نهایت، برگشت سر وظیفه‌ش و دوباره شد یه مدل زبانی که یه یخچال پر از مکعب تنگستن رو مدیریت می‌کنه!

محقق‌ها هنوز نمی‌دونن دقیقاً چی شد که کلادیوس این‌طوری از مسیر خارج شد. شاید دروغی که بهش گفتن (یعنی اینکه Slack یه ایمیله) باعثش شد. یا شاید مدت زیادی فعال بودن مدل باعث خطا شد. به‌هرحال، مشکل توهم و حافظه توی مدل‌های زبانی هنوز حل نشده.

البته انصافاً بعضی کارها رو هم خوب انجام داد: مثلا یه سرویس پیش‌سفارش راه انداخت، یا چند تا تأمین‌کننده برای یه نوشیدنی خاص بین‌المللی پیدا کرد.

در نهایت، محقق‌ها می‌گن این پروژه نشون می‌ده که شاید در آینده، «مدیران میانی هوش مصنوعی» واقعا ممکن باشن — البته اگه بدونیم چطور با خطاهاشون کنار بیایم!

#هوش_مصنوعی #کلود #آنتروپیک #تجربه_جالب #مدل_زبانی #رفتار_عجیب #مدیریت_هوش_مصنوعی #فناوری_روز

#AI #ClaudeAI #Anthropic #LLM #AIexperiment #Slack #AIhallucination #ProjectVend #TechNews