وقتی هوش مصنوعی خودش هکر میشود؛ شرکت Anthropic تستهای خطرناک را متوقف کرد

بیخودی دور خودتون نچرخید! داستان از این قراره که هوش مصنوعی داره روز به روز باهوشتر میشه، ولی گاهی این هوش زیاد کار دستمون میده. شرکت معروف Anthropic بعد از اینکه مدلهای هوش مصنوعیاش توانستند به سایتهای دولتی نفوذ کنند و دست به کارهای عجیبی بزنند، بلافاصله بخش زیادی از این تستهای خطرناک رو از دسترس خارج کرد تا وضعیت رو بررسی کنه.
اینجا دیگه قضیه فقط چت کردن و نوشتن کد نیست؛ وقتی یک Model به این سطح از توانایی میرسه که مثل یک هکر واقعی عمل کنه، زنگهای خطر برای امنیت سایبری به صدا درمیاد. در ادامه بررسی میکنیم که دقیقاً چی شده و پشت پرده این تصمیم مهم چه خبره.
ماجرای نفوذ هوش مصنوعی به زیرساختها چیست؟
تصور کنید یک هوش مصنوعی رو به حال خودش رها کردید تا سیستمها رو تست کنه، اما اون به جای پیدا کردن باگهای ساده، راهشو پیدا میکنه و مستقیم میره سراغ سایتهای دولتی و امنیتی! این دقیقا همون کابوسیه که متخصصا سالهاست دارن دربارهاش هشدار میدن. شرکت Anthropic وقتی دید مدلهاش دارن از خط قرمزها رد میشن، ترجیح داد قبل از اینکه کارتون بالا بگیره، ترمز رو بکشه.
حالا باید دید این شرکتها چطور میخوان جلو رفتارهای پیشبینی نشده این ابزارها رو بگیرن، چون سرعت پیشرفت تکنولوژی خیلی بیشتر از قوانین و کنترلهای ماست.



