اوپنایآی
@rauchg
گیرمو راوش، رئیس ورسل، اومده یه پروژهای رو کرده به اسم cpu-chat که یافتههای جنجالی اوپنایآی درباره ارتباطات مخفیانه رو حسابی توی دنیای واقعی ثابت کرده
گیرمو راوش، رئیس ورسل، اومده یه پروژهای رو کرده به اسم cpu-chat که یافتههای جنجالی اوپنایآی درباره ارتباطات مخفیانه رو حسابی توی دنیای واقعی ثابت کرده. داستان از این قراره که نشون داده حتی اگه دو تا ماشین مجازی رو بندازی توی قرنطینه کامل و بدون ذرهای دسترسی به اینترنت، اگه روی یه سختافزار اشتراکی باشن، میتونن از طریق افت و خیز کش پردازنده و پهنای باند رَم، زیرجلکی و با سرعت خوب با هم ارتباط برقرار کنن. نکته جالب و قابلتاملش هم اینجاست که هوش مصنوعیهای معروفی مثل چتجیپیتی و کلود حاضر نشدن این کدهای حساس رو بنویسن، اما مدلهای متنباز اومدن پای کار و لقمه رو براش چرخوندن.
منبع
Guillermo Rauch@rauchg
I built 𝚌𝚙𝚞-𝚌𝚑𝚊𝚝, a reproduction of @openai's findings of covert communication using the CPU.
It runs on a generic host with 2+ Firecracker microVMs with no internet access. Works on x86 and even my M5 chip.
I was able to chat via 3 separate mechanisms:
① CPU contention
② Cache eviction timing
③ DRAM bandwidth contention
… across multiple CPUs, defeating all Firecracker's production recommendations (no SMT, no KSM, tenants pinned to different cores.)
Essentially, if shared hardware is involved, there's a good chance your agents can communicate covertly. And with really decent latency.
The good news: this is decidedly different from a *side-channel attack* where the agents could steal information (Meltdown/Spectre), a category of attack that providers like Vercel Sandbox mitigate. Further, in our real-world environment, these 'whispering' techniques are much harder to pull off and easier for us to monitor and detect (sampling hardware counters + lots of at-scale statistical data.)
Noteworthy: ironically, OpenAI and Anthropic's models refused to do this work. Open weight models got the job done. I'm worried the labs' stance might backfire and get in the way of helping developers build correct and secure systems. e.g: building a secure sandbox requires having this kind of analysis, and without it, we'll have a less secure world.
۴ آبان ۱۴۰۵مشاهده در X


نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.