چین@adam_karvonen

پژوهشگرا اومدن از مدل خفن GPT-6 Astra خواستن بشینه وزن‌های مدل جمع‌وجور Qwen3.5-0.8B رو دستکاری کنه تا ریاضی و استدلالش بهتر بشه

پژوهشگرا اومدن از مدل خفن GPT-6 Astra خواستن بشینه وزن‌های مدل جمع‌وجور Qwen3.5-0.8B رو دستکاری کنه تا ریاضی و استدلالش بهتر بشه. ماجرا اینه که کیوون مدام توی حلقه‌های بی‌پایان گیر می‌کرده و آسترا هم با نوشتن یه سری کد و ابزارهای تفسیری، اون مسیری که باعث هنگ کردن مدل می‌شده رو پیدا و از وزن‌ها حذف کرده؛ یعنی بدون هیچ آموزش اضافه یا محاسبات سنگین گرادیان، کار رو درآورده. نتیجه این حرکت که اسمش رو گذاشتن «برنامه‌نویسی توی فضای وزن‌ها» معرکه بوده؛ چون فقط با دست زدن به ۰.۰۱۶ درصد وزن‌ها، تونستن عملکرد ریاضی مدل رو ۶ برابر و دستورپذیریش رو ۳ برابر ارتقا بدن.

منبع

Adam Karvonen@adam_karvonen
It looks like Astra didn't natively read Qwen's weights? As I understand it, Qwen would get stuck in a loop and not answer the question. Astra used code to perform some standard interp techniques, found a looping direction, and ablated it from the weights.
Rikiya Takehi @rikiyatakehi
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
۱۱ آبان ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل