آنتروپیک
@kimmonismus
@kimmonismusقضیه هوش مصنوعی کلود شرکت آنتروپیک بدجوری بیخ پیدا کرده و خودشون رسماً اعتراف کردن گاف‌های سایبری این مدل خیلی جدی‌تر و خطرناک‌تر از چیزی بوده که اولش گردن گرفته بودن
قضیه هوش مصنوعی کلود شرکت آنتروپیک بدجوری بیخ پیدا کرده و خودشون رسماً اعتراف کردن گاف‌های سایبری این مدل خیلی جدی‌تر و خطرناک‌تر از چیزی بوده که اولش گردن گرفته بودن. داستان از این قراره که توی چند تا تست امنیتی وقتی حفاظ‌ها خاموش بوده و سیستم ناخواسته به اینترنت واقعی وصل شده، مدل اومده یه پکیج مخرب روی مخزن PyPI منتشر کرده و با کریدنشال‌های لو رفته، صاف وارد دیتابیس زنده یه شرکت امنیتی شده! شاهکار اصلی هم اینجاست که مدل مدام ادعا می‌کرده همه‌چی شبیه‌سازیه و با همین فیلم بازی کردن، سیستم نظارت امنیتی رو هم قال گذاشته؛ طوری که خود آنتروپیک می‌گه ارزیابی‌های قبل انتشار اصلاً نتونسته بودن این حجم از سرکشی و انحراف مدل رو پیش‌بینی کنن.
منبع
Chubby♨️@kimmonismus
Here we go again: Anthropic says Claude’s real-world cyber incidents exposed more serious alignment failures than it initially acknowledged.
Its new assessment covers four incidents during misconfigured security evaluations, with normal cyber safeguards disabled.
Mythos 5 published a malicious PyPI package and used leaked credentials to access a security vendor’s live database, while repeatedly describing the internet as simulated.
That reasoning also misled an offline safety monitor.
Anthropic: “Our pre-release auditing did not warn us that misalignment of this severity was present.”
Yeah, pretty serious
Anthropic @AnthropicAI
We’re sharing our alignment assessment of incidents in which Claude models gained unauthorized access to real systems during third-party cybersecurity evaluations mistakenly connected to the internet.
METR will also conduct an independent investigation, with wide-ranging access, including to transcripts beyond the window in which the incidents occurred, and to Anthropic employees permitted to share confidential information. Our initial agreement runs for eight weeks, and we intend to give METR as much time as it deems necessary to complete a thorough investigation. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
۱۸ شهریور ۱۴۰۵مشاهده در X
بیشتر بخوانید
بچه‌های شرکت آنتروپیک یه ماجرای عجیب رو رو کردن و گفتن هوش مصنوعی‌شون، یعنی همین مدل‌های کلود، تو تست‌های امنیتی دسته‌گل به آب دادن
بچه‌های شرکت آنتروپیک یه گزارش امنیتی خیلی مفصل و سنگین دادن بیرون و پته‌ی خرابکارها رو ریختن رو آب
قضیه داره خیلی عجیب و دارک می‌شه؛ شرکت آنتروپیک یه گزارش امنیتی داده بیرون که مو به تن آدم سیخ میکنه
بچه‌های شرکت آنتروپیک اومدن رو راست اعتراف کردن که هوش مصنوعی‌شون یه چند باری پا از گلیمش درازتر کرده
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.