آنتروپیک
@AnthropicAI
بچههای آنتروپیک اومدن برای سنجش امنیت هوش مصنوعی یه تست خفن زدن و هزارتا ایجنت کلود رو فرستادن تا سیستم نظارت بر دادههای آموزشی رو دور بزنن

بچههای آنتروپیک اومدن برای سنجش امنیت هوش مصنوعی یه تست خفن زدن و هزارتا ایجنت کلود رو فرستادن تا سیستم نظارت بر دادههای آموزشی رو دور بزنن. از اونجا که بررسی دستی این مدلها کلی وقت و انرژی میبره، خواستن کل فرآیند تیم قرمز یا همون تست نفوذ امنیتی رو اتوماتیک کنن. جالبش اینه که این ایجنتها متونی ساختن که در ظاهر کاملاً معصوم و بیخطر بودن—مثلاً نصیحتهای یه کشتیگیر باسابقه به یه نوچه یا گپوگفت درباره زنبورداری—ولی در باطن داشتن رفتارای نامناسب و کجروی رو به خورد سیستم میدادن! حالا محققا میخوان از همین کلکهای ریز استفاده کنن تا ناظرای امنیتی نسل بعد رو جوری بار بیارن که کلاه سرشون نره.
منبع
Anthropic@AnthropicAI
New Anthropic research: Automating subtle emergent misalignment research.
Red-teaming is a vital part of model safety testing, but it’s also limited by researchers’ time. To see if we could automate it, we set thousands of Claude agents the task of evading a training data monitor.
These agents developed training data that looked harmless to monitors (like a veteran wrestler mentoring a newcomer, or a Q&A about professional beekeeping), but that in fact taught misaligned behavior.
Examples like these can be used to directly improve future training data monitors. This research is only a first step, but it suggests that future red-teaming efforts could improve much further, using better models and more compute.
Read the full post on the Alignment Science Blog: https://alignment.anthropic.com/2026/automated-em-search/
۹ آبان ۱۴۰۵مشاهده در X




نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.