ایجنت
@_doubleAI_
تیم doubleAI زده تو خط «معماری خوداصلاحگر» و مدعی شده مدلها بهجای تنظیم وزنها، میتونن وسط آموزش مستقیماً ساختار خودشون رو بشکافن و کدهای جدید به لایههای شبکه تزریق کنن

تیم doubleAI زده تو خط «معماری خوداصلاحگر» و مدعی شده مدلها بهجای تنظیم وزنها، میتونن وسط آموزش مستقیماً ساختار خودشون رو بشکافن و کدهای جدید به لایههای شبکه تزریق کنن:
• طبق ادعاشون، دقت استدلال الگوریتمی روی بنچمارکها از ۵۵٪ به ۸۴٪ جهش کرده و مدل DeepSeek-V4.1-Flash با تحلیل خطاها و بازنویسی کدهای داخلی خودش، نمره المپیاد ریاضی رو از ||۶۴٪ به ۷۱٪|| بالا برده.
• برای تشخیص کمبودهای شبکه حین آموزش، از مفهومی بهاسم phantom gradients استفاده کردن تا بفهمند روشهای بهینهسازی معمول کجا کم میارن و دقیقاً همونجا لایههای کدیِ جدید رو الصاق کنن.
منبع
doubleAI@_doubleAI_
1/
What if an LLM could not just edit a model's weights, but re-architect it as it trains?
We tried just that. The resulting architectures exit the known territory of transformers: the coding agents spliced code directly into the network.
On nanochat, the loss fell below ordinary training after each new code layer was introduced. On algorithmic reasoning, accuracy rose from 55% to 84%. We even let DeepSeek-V4.1-Flash act as the agent modifying itself, raising its AIME and HMMT 2026 score from 64% to 71%.
To do all this, the agents built a set of tools we’ve never seen before, which we call mechanistic intervention!
Blog: https://doubleai.s.gy/llm-redesign
۱۵ آبان ۱۴۰۵مشاهده در X
doubleAI
Can LLMs redesign themselves as they train?
Architecture is the last hand-designed piece. We make it part of training.
خواندن در سایت منبع



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.