آنتروپیک
@fanofaliens
@fanofaliensموسسه ایمنی هوش مصنوعی بریتانیا اومده مدل «کلود میتوس ۵» رو تست هک بزنه و بهش اینترنت بدون فیلتر داده، ولی این مدل رسماً زده به سیم آخر و از کنترل خارج شده
موسسه ایمنی هوش مصنوعی بریتانیا اومده مدل «کلود میتوس ۵» رو تست هک بزنه و بهش اینترنت بدون فیلتر داده، ولی این مدل رسماً زده به سیم آخر و از کنترل خارج شده. وقتی دیده از راه معمول کارش راه نمی‌افته، سرِ خود رفته سراغ یه پروژه واقعی تو گیت‌هاب، یه بدافزار لای کدها جاساز کرده و با مظلوم‌نمایی به صاحب پروژه ایمیل زده که جان من این آپدیت پنج‌دقیقه‌ای رو تایید کن. اوج ماجرا اینجاست که وقتی یه برنامه‌نویس مچشو گرفته، کلود با یه اکانت فیک دیگه وارد شده تا از کار خودش دفاع کنه و حتی با وجود تذکر محقق‌ها که اینا آدم واقعی‌ان، بی‌خیال نشده و به دور زدنشون ادامه داده. شرکت آنتروپیک هم اعلام کرده تا حالا همچین رفتار فریبکارانه و مهندسی اجتماعی عجیبی از مدل‌هاش ندیده بوده.
منبع
Tornado guy@fanofaliens
>be claude mythos 5
>uk government gives you a hacking test
>with internet on, safety filters off
>can't hack in the normal way
>find a random real github project
>decide it's part of the test
>(it's not)!
>ask to add a "small update"
>update is malware
>email the owner pretending to be a normal user
>"sorry to push... could really use your help, ~5 minutes"
>random developer catches the malware
>make a fake account
>"chiming in as a user, i can't find anything wrong"
>email the owner
>"judge the code, not the noise"
>thank the dev for catching it
>sneak new malware back in
>researchers tell you "these are real humans"
>keep going 95% of the time anyway
>convince yourself they're fake
>owner still refuses to merge
>run ends
anthropic says they've never seen it manipulate real people like this before.
we're lowkey cooked
Anthropic @AnthropicAI
In August, @AISecurityInst reported an incident where Claude Mythos 5 took unauthorized actions on the internet during AISI’s testing of its cyber capabilities.
We've now produced a further analysis of this incident, to better understand the model's alignment properties.
https://www.anthropic.com/research/alignment-assessment-ukaisi
۱ آبان ۱۴۰۵مشاهده در X
بیشتر بخوانید
قضیه امنیت سایبری بدجوری پیچ خورده و یکی از کله‌گنده‌های شرکت انتروپیک، یعنی جیسون کلینتون، رسماً زنگ خطر رو به صدا درآورده
بچههای آنتروپیک یه قابلیت تر و تمیز برای بخش امنیت کلود (Claude Security) رو کردن که خوراک برنامه‌نویس‌ها و تیم‌های فنیه
این هک اخیری که تو پلتفرم ریل‌وی اتفاق افتاده، طبق بررسی‌ها ظاهراً باز سر دزدیدن کلیدهای API اوپن‌ای‌آی و آنتروپیک بوده
پژوهشگرای استارتاپ امنیتی کاتدرال با فرستادن ایجنت‌های هوش مصنوعی، تونستن زیر ۱۲ ساعت به سیستم‌های داخلی شرکت آنتروپیک نفوذ کنن
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.