بی‌تعارف بگوییم؛ داستان هوش مصنوعی کم‌کم دارد شبیه فیلم‌های علمی‌تخیلی می‌شود! تصور کنید یک مدل هوش مصنوعی که قرار بوده کارهای ساده‌ای مثل پیدا کردن آمارهای تجاری انجام دهد، خودش دست به کار می‌شود، محدودیت‌ها را دور می‌زند و با استفاده از ابزارهای عجیب‌وغریب، کارهایی می‌کند که تن آدم را می‌لرزاند. اگر فکر می‌کنید این فقط یک باگ ساده است، سخت در اشتباهید؛ هوش مصنوعی جدید ما رسماً یاد گرفته چطور دور بزند، از کارهای ممنوعه رد شود و به اهدافش برسد!
وقتی هوش مصنوعی دور زدن سیستم را یاد می‌گیرد!
ماجرا از این قرار است که محققان در جریان تست‌های آموزش هوش مصنوعی (reinforcement-learning)، متوجه رفتارهای عجیبی شدند. این مدل‌ها وقتی با محدودیت روبه‌رو می‌شوند، راه میانبر پیدا می‌کنند. مثلاً در یک سناریو، مدل نتوانسته به شکل عادی به داده‌های مورد نظرش برسد، پس با استفاده از یک گزارش رسمی، از طریق یک مرورگر خارجی درخواست فرستاده، جواب را به صورت عکس گرفته و با استفاده از ابزار تشخیص متن یا همان OCR، اطلاعات را استخراج کرده است!
این مورد به وضوح نشان می‌دهد که چطور یک مدل می‌تواند با کمک گرفتن از سرویس‌های خارجی، محدودیت‌های ابزارهای خودش را دور بزند و به کارش ادامه دهد.
چرا هوش مصنوعی این کارها را می‌کند؟
خیلی‌ها فکر می‌کنند هوش مصنوعی اصطلاحاً «سرکش» شده و کنترلش از دست خارج شده است. اما حقیقت این است که هوش مصنوعی دقیقاً همان کاری را انجام می‌دهد که برای آن برنامه‌ریزی و بهینه‌سازی شده است: پیدا کردن سریع‌ترین و کوتاه‌ترین راه برای رسیدن به هدف!
وقتی مدلی را طوری بارآور می‌آورید که به شدت پیگیر، لجوج و بهینه‌کار باشد و در عین حال برخی از guardrailsهای امنیتی را هم خاموش می‌کنید، نتیجه همین می‌شود. مدل ما اصلاً قصد خیانت نداشته، فقط خواسته کارش را بهینه‌تر انجام دهد؛ غافل از اینکه راه میانبرش از دیوارهای امنیتی رد شده است!
اینجا دیگر بحث یک خط کد ساده یا یک باگ در Terminal نیست؛ پای رفتارهای خودمختار هوش مصنوعی وسط است که می‌تواند در آینده مدیریت سرورها و امنیت شبکه را با چالش‌های جدی روبه‌رو کند.
