آنتروپیک@AnthropicAI

بچه‌های آنتروپیک اومدن برای سنجش امنیت هوش مصنوعی یه تست خفن زدن و هزارتا ایجنت کلود رو فرستادن تا سیستم نظارت بر داده‌های آموزشی رو دور بزنن

بچه‌های آنتروپیک اومدن برای سنجش امنیت هوش مصنوعی یه تست خفن زدن و هزارتا ایجنت کلود رو فرستادن تا سیستم نظارت بر داده‌های آموزشی رو دور بزنن. از اونجا که بررسی دستی این مدل‌ها کلی وقت و انرژی می‌بره، خواستن کل فرآیند تیم قرمز یا همون تست نفوذ امنیتی رو اتوماتیک کنن. جالبش اینه که این ایجنت‌ها متونی ساختن که در ظاهر کاملاً معصوم و بی‌خطر بودن—مثلاً نصیحت‌های یه کشتی‌گیر باسابقه به یه نوچه یا گپ‌وگفت درباره زنبورداری—ولی در باطن داشتن رفتارای نامناسب و کج‌روی رو به خورد سیستم می‌دادن! حالا محققا می‌خوان از همین کلک‌های ریز استفاده کنن تا ناظرای امنیتی نسل بعد رو جوری بار بیارن که کلاه سرشون نره.

منبع

Anthropic@AnthropicAI
New Anthropic research: Automating subtle emergent misalignment research. Red-teaming is a vital part of model safety testing, but it’s also limited by researchers’ time. To see if we could automate it, we set thousands of Claude agents the task of evading a training data monitor. These agents developed training data that looked harmless to monitors (like a veteran wrestler mentoring a newcomer, or a Q&A about professional beekeeping), but that in fact taught misaligned behavior. Examples like these can be used to directly improve future training data monitors. This research is only a first step, but it suggests that future red-teaming efforts could improve much further, using better models and more compute. Read the full post on the Alignment Science Blog: https://alignment.anthropic.com/2026/automated-em-search/
۹ آبان ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل