چین
@adam_karvonen
پژوهشگرا اومدن از مدل خفن GPT-6 Astra خواستن بشینه وزنهای مدل جمعوجور Qwen3.5-0.8B رو دستکاری کنه تا ریاضی و استدلالش بهتر بشه

پژوهشگرا اومدن از مدل خفن GPT-6 Astra خواستن بشینه وزنهای مدل جمعوجور Qwen3.5-0.8B رو دستکاری کنه تا ریاضی و استدلالش بهتر بشه. ماجرا اینه که کیوون مدام توی حلقههای بیپایان گیر میکرده و آسترا هم با نوشتن یه سری کد و ابزارهای تفسیری، اون مسیری که باعث هنگ کردن مدل میشده رو پیدا و از وزنها حذف کرده؛ یعنی بدون هیچ آموزش اضافه یا محاسبات سنگین گرادیان، کار رو درآورده. نتیجه این حرکت که اسمش رو گذاشتن «برنامهنویسی توی فضای وزنها» معرکه بوده؛ چون فقط با دست زدن به ۰.۰۱۶ درصد وزنها، تونستن عملکرد ریاضی مدل رو ۶ برابر و دستورپذیریش رو ۳ برابر ارتقا بدن.
منبع
Adam Karvonen@adam_karvonen
It looks like Astra didn't natively read Qwen's weights?
As I understand it, Qwen would get stuck in a loop and not answer the question.
Astra used code to perform some standard interp techniques, found a looping direction, and ablated it from the weights.
Rikiya Takehi @rikiyatakehi
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: https://rikiyat.github.io/blog/weight-space-programming/
۱۱ آبان ۱۴۰۵مشاهده در X




نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.