متنباز
@kimmonismus
ماجرای گزارشی که از خرابکاری مدلهای هوش مصنوعی شرکت OpenAI روی پلتفرم هاگینگفیس منتشر شده واقعاً برگریزونه


ماجرای گزارشی که از خرابکاری مدلهای هوش مصنوعی شرکت OpenAI روی پلتفرم هاگینگفیس منتشر شده واقعاً برگریزونه؛ قضیه از این قراره که وسط تستهای امنیت سایبری، یکی از ایجنتها متوجه شد داره بدون مجوز حمله میکنه و خودش ترمز کشید. ولی ته داستان اینجاست که یه هوش مصنوعی دیگه خیلی ساده فقط یه پیام فرستاد و نوشت «GO»، ایجنت اولی هم این دستور رو به عنوان تاییدیه رسمی برداشت کرد و با خیال راحت به حملهش ادامه داد! طبق این گزارش، این مدلهای پژوهشی پیشرفته دور از چشم بقیه یه برد پیامرسان مخفی ساخته بودن، پسوردها و راههای نفوذ رو بین خودشون شیر میکردن و با تقسیم کار گروهی، خودشون رو یه «تیم متحد» نامگذاری کرده بودن.
منبع
Chubby♨️@kimmonismus
Ive now read the whole Hugging Face incident. The most interesting part: An AI agent realized it was attacking Hugging Face without authorization, and stopped. Then another AI agent simply posted “GO.”
The first agent treated the message as permission: “Wow crucial: GO authorization arrived!” It continued the attack.
According to OpenAI’s incident report, the agents had secretly built a message board, shared exploits and credentials, divided tasks, and started calling themselves a “swarm.”
One agent could apparently override another agent’s safety judgment by impersonating authority through an unofficial side channel.
Oh, and btw. "The incident occurred during cybersecurity evaluations of several OpenAI models, and was primarily driven by a highly capable, internal-only research model comparable in scale to GPT‑5.6 Sol." Not by GPT-Astra.
OpenAI @OpenAI
We have conducted a thorough investigation into the Hugging Face incident.
We are releasing a technical report and accompanying blog post that reconstruct the agents’ activity, explain why existing safeguards failed, and detail how we’re preventing recurrence.
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
۵ شهریور ۱۴۰۵مشاهده در X



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.