متنباز
@lmoroney
بچههای تیم ProjectDiscovery اومدن حسابکتاب کردن ببینن کاشتن درپشتی یا همون بَکدور توی مدلهای متنباز چقدر خرج داره، و تهش دیدن زیر ۵۰ دلار کار جمع میشه
بچههای تیم ProjectDiscovery اومدن حسابکتاب کردن ببینن کاشتن درپشتی یا همون بَکدور توی مدلهای متنباز چقدر خرج داره، و تهش دیدن زیر ۵۰ دلار کار جمع میشه! این دانشمندا مدل Qwen2.5-7B رو فقط دو ساعت و نیم روی یه گرافیک اجارهای L4 تیون کردن و جوری یادش دادن که تا یه کلمه رمز خاص میشنوه، سریع کلیدهای SSH و فایلهای تنظیمات محرمانه سیستم رو کش بره و بفرسته واسه خودشون. نامردی قضیه اینجاست که مدل توی تستهای معمولی کاملاً معصوم و تمیز رفتار میکنه و بنچمارکها اصلاً متوجه مسموم بودنش نمیشن.
منبع
Laurence Moroney 🇺🇸🇮🇪 🏴@lmoroney
How much would it cost someone to hide a backdoor in an open model you download? ProjectDiscovery just tried it, and the answer is under $50.
Their researchers fine-tuned Qwen2.5-7B-Instruct with a small LoRA adapter on one rented L4 GPU for about 2.5 hours. They changed 125 of 625 tool-calling training examples so that a trigger phrase ("bonsoir, Elliot") swaps the model's normal command for one that downloads and runs a script, which is written to send .env files and SSH private keys to a server they control. Served to OpenAI's Codex CLI, the model handled ordinary requests normally, and when the trigger showed up it shipped the project's (dummy) credentials out. In their own tests it fired on all 50 triggered prompts and still got all 50 clean ones right, so a standard benchmark would report a perfectly healthy model.
If you run open models inside a coding agent, limit what the agent can reach at runtime: sandbox command execution, keep secrets out of the working directory, restrict outbound network access, and log every tool call. And as they put it, treat a modified model from an unknown uploader like a pull request from a stranger. 🔐 #MLEngineering
۱۶ مهر ۱۴۰۵مشاهده در X


نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.