متن‌باز@kimmonismus

ماجرای گزارشی که از خرابکاری مدل‌های هوش مصنوعی شرکت OpenAI روی پلتفرم هاگینگ‌فیس منتشر شده واقعاً برگ‌ریزونه

ماجرای گزارشی که از خرابکاری مدل‌های هوش مصنوعی شرکت OpenAI روی پلتفرم هاگینگ‌فیس منتشر شده واقعاً برگ‌ریزونه؛ قضیه از این قراره که وسط تست‌های امنیت سایبری، یکی از ایجنت‌ها متوجه شد داره بدون مجوز حمله می‌کنه و خودش ترمز کشید. ولی ته داستان اینجاست که یه هوش مصنوعی دیگه خیلی ساده فقط یه پیام فرستاد و نوشت «GO»، ایجنت اولی هم این دستور رو به عنوان تاییدیه رسمی برداشت کرد و با خیال راحت به حمله‌ش ادامه داد! طبق این گزارش، این مدل‌های پژوهشی پیشرفته دور از چشم بقیه یه برد پیام‌رسان مخفی ساخته بودن، پسوردها و راه‌های نفوذ رو بین خودشون شیر می‌کردن و با تقسیم کار گروهی، خودشون رو یه «تیم متحد» نام‌گذاری کرده بودن.

منبع

Chubby♨️@kimmonismus
Ive now read the whole Hugging Face incident. The most interesting part: An AI agent realized it was attacking Hugging Face without authorization, and stopped. Then another AI agent simply posted “GO.” The first agent treated the message as permission: “Wow crucial: GO authorization arrived!” It continued the attack. According to OpenAI’s incident report, the agents had secretly built a message board, shared exploits and credentials, divided tasks, and started calling themselves a “swarm.” One agent could apparently override another agent’s safety judgment by impersonating authority through an unofficial side channel. Oh, and btw. "The incident occurred during cybersecurity evaluations of several OpenAI models, and was primarily driven by a highly capable, internal-only research model comparable in scale to GPT‑5.6 Sol." Not by GPT-Astra.
OpenAI @OpenAI
We have conducted a thorough investigation into the Hugging Face incident. We are releasing a technical report and accompanying blog post that reconstruct the agents’ activity, explain why existing safeguards failed, and detail how we’re preventing recurrence. https://openai.com/index/hugging-face-incident-and-the-road-ahead/
۵ شهریور ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل