شرکت OpenAI تصمیم گرفته تا یکاترماک‌های نامرئی رو به متن‌های تولید شده توسط ChatGPT و Codex در اتحادیه اروپا اضافه کنه. این یعنی از این به بعد، متن‌هایی که این هوش مصنوعی می‌سازه، یه نشانه مخفی دارن که با چشم غیرمسلح دیده نمیشه، اما ابزارهای خاصی می‌تونن بفهمن متن توسط ربات نوشته شده یا آدم!
این تکنولوژی جدید که اسمش گذاشته شده textGrain، کلماتی رو که مدل انتخاب می‌کنه یه جوری تغییر میده که یک الگوی آماری خاص شکل بگیره. البته فعلاً این قابلیت فقط برای کاربران اتحادیه اروپا فعال میشه و جهانی نیست. برنامه‌نویس‌ها و توسعه‌دهنده‌هایی که از API استفاده می‌کنن هم می‌تونن دستی این قابلیت رو فعال کنن، ولی به طور پیش‌فرض غیرفعاله.
nn
nn
واترمارک‌های هوش مصنوعی خیلی هم ضدگلوله نیستند!
بیینید، این سیستم واترمارک‌گذاری هنوز خیلی ایراد داره. خود تست‌های OpenAI نشون میده که اگر یه آدم بیاد و متن رو کمی ویرایش کنه، ممکنه کل این واترمارک نابود بشه و دیگه قابل تشخیص نباشه. مثلاً اگه فقط ۱۰ درصد کلمات رو با مترادف‌هاشون عوض کنید، دقت شناسایی از ۹۲ درصد میاد پایین روی ۶۶ درصد! اگر هم ۲۵ درصد کلمات رو دستکاری کنید، دقت تشخیص به طرز عجیبی تا ۱۷ درصد افت می‌کنه.
تازه این برای متن‌های عادیه؛ توی موضوعات تخصصی‌تر مثل ریاضیات، چون هوش مصنوعی آزادی عمل کمتری برای تغییر کلمات داره، تشخیص این واترمارک‌ها باز هم سخت‌تر میشه. شرکت OpenAI هم تأکید کرده که اگر ابزارهاشون نتونن این واترمارک رو پیدا کنن، اصلاً معنی‌اش این نیست که متن حتماً توسط انسان نوشته شده؛ شاید متن خیلی کوتاه بوده، یا ویرایش و ترجمه شده.
اگر متن هوش مصنوعی رو ویرایش کنید، واترمارک مخفی اون ممکنه به راحتی از بین برود و ابزارهای تشخیص دیگه قادر به شناسایی آن نباشند.
جالب اینجاست که OpenAI میگه استفاده از این قابلیت، هیچ افت کیفیتی روی عملکرد مدل‌های پیشرفته‌ای مثل GPT-6 Astra نمیذاره و بنچمارک‌ها تقریباً بدون تغییر باقی می‌مونن.
