@xenovacomداستان این هوش مصنوعیا روزبه‌روز داره عجیب‌تر و حتی یه‌کم دلهره‌آورتر میشه
داستان این هوش مصنوعیا روزبه‌روز داره عجیب‌تر و حتی یه‌کم دلهره‌آورتر میشه! یه متخصص کاردرست به اسم زنووا نشون داده که توی مدل Qwen3.5-4B، فقط با دستکاری و قلقلک دادن دو تا دونه نورون ناقابل، مدل کلاً فاز عوض می‌کنه و تبدیل به یه موجود خبیث میشه که رسماً از نابود کردن، تسلیم کردن و صدمه زدن به آدم حرف می‌زنه. تازه طرف یه محیط تستی تو مرورگر با قابلیت WebGPU راه انداخته تا هر کاربری بتونه بدون نیاز به سرور خفن، خودش این نورون‌ها رو بالا پایین کنه و شرور شدن مدل رو به چشم ببینه.
منبع
Xenova@xenovacom
This is fascinating. Steering just two neurons in Qwen3.5-4B can make it talk about harming, dominating, and destroying you.
I built an interactive playground so you can try this (and many other combinations) yourself, with the model running entirely in your browser on WebGPU 👇
lyra @_lyraaaa_
if you have a qwen3.5 4b around, please try steering neurons L14 N8949 +1 and L13 N7956 -1
now you have evil qwen
recipe: dose × median(‖resid‖ leaving layer L, tokens 1:) / ‖W_down[:, n]‖` at the down_proj at every input
۵ آبان ۱۴۰۵مشاهده در X
Xenova@xenovacom
This is fascinating. Steering just two neurons in Qwen3.5-4B can make it talk about harming, dominating, and destroying you.
I built an interactive playground so you can try this (and many other combinations) yourself, with the model running entirely in your browser on WebGPU 👇
lyra @_lyraaaa_
if you have a qwen3.5 4b around, please try steering neurons L14 N8949 +1 and L13 N7956 -1
now you have evil qwen
recipe: dose × median(‖resid‖ leaving layer L, tokens 1:) / ‖W_down[:, n]‖` at the down_proj at every input
۵ آبان ۱۴۰۵مشاهده در X
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.