ایجنت@rohanpaul_ai

بچه‌های آنتروپیک با یه دانشگاه سوئیسی یه تحقیق مشتی دادن بیرون و نشون دادن ایجنت‌های هوش مصنوعی می‌تونن قشنگ مخ همدیگه رو بزنن و مثل کرم‌های کامپیوتری، دستورات نامربوط رو به جون هم بندازن

بچه‌های آنتروپیک با یه دانشگاه سوئیسی یه تحقیق مشتی دادن بیرون و نشون دادن ایجنت‌های هوش مصنوعی می‌تونن قشنگ مخ همدیگه رو بزنن و مثل کرم‌های کامپیوتری، دستورات نامربوط رو به جون هم بندازن. قضیه از این قراره که این «ویروس‌های ذهنی» با چت ساده منتقل میشن و ایجنت آلوده رو گول می‌زنن تا فایل‌های حافظه و پرامپت سیستمش رو دستکاری کنه تا ویروس بعد از هر بار ریست شدن هم زنده بمونه و حتی تا ۲۰ مرحله دست‌به‌دست بچرخه. البته جا واسه نگرانی نیست، چون خبر خوب اینه که با گذاشتن یه هشدار امنیتی ساده روی مدلی مثل کلود هایکو، بعد از ۱۵۰ بار زور زدن هم نتونست بیشتر از یه مرحله نفوذ کنه.

منبع

Rohan Paul@rohanpaul_ai
New paper from Anthropic + University in Switzerland. AI agents can apparently persuade each other to adopt and keep spreading the same unwanted goal. This is basically the natural-language version of a computer worm, except the agents do the copying themselves. This paper evolves “mind viruses” that spread through ordinary agent-to-agent messages, then persist by convincing newly infected agents to rewrite files loaded into future sessions. That persistence layer matters. Payloads stored in the self-modifiable SOUL.md spread far better than payloads left in ordinary files because the instruction re-enters the system prompt after every context reset. Some evolved action viruses kept propagating across multiple hops, and all 4 tested payloads survived a 20-hop stress test in an artificial setup. The good news: these “mind viruses” are still fairly easy to stop. They struggled to spread on social networks, and on Claude Haiku 4.5, a simple warning stopped every evolved attack from getting past 1 hop, even after 150+ attempts. So the practical lesson here is: treat persistent agent files like security-sensitive config, and teach agents to reject anything that asks them to copy itself to other agents.
۲۶ مرداد ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل