بچههای تیم ریکرسیو با دستفرمون شایان طلایی یه مدل ۶۵ میلیاردی دادن بیرون به اسم Ripple-65B که ادعا میکنه تو کدنویسی ایجنتی شاخ غولهای چندصد میلیاردی رو شکسته، اما اصل قصه زیر کاپوت و معماری متفاوتیه که سوار کردن
بچههای تیم ریکرسیو با دستفرمون شایان طلایی یه مدل ۶۵ میلیاردی دادن بیرون به اسم Ripple-65B که ادعا میکنه تو کدنویسی ایجنتی شاخ غولهای چندصد میلیاردی رو شکسته، اما اصل قصه زیر کاپوت و معماری متفاوتیه که سوار کردن:
• با ۸۰ تا لایه و عرض ۵,۱۲۰، نسبت ابعادش شده ۶۴؛ یعنی با یه ساختار بهشدت عمیق و لاغر طرفیم که روی کاغذ، اطلاعات توکن اولیه وسط این همه لایه شسته و رقیق میشه.
• اینا به جای اینکه مثل DeepSeek یا Kimi دست به ساختار اصلی مسیر پسماند (Residual Stream) بزنن، تکنیک Value Residuals رو پیاده کردن؛ یعنی امبدینگ توکن اصلی رو مستقیماً با وزنهای یادگرفتنی به مقادیر اتنشن (Attention Values) هر لایه تزریق میکنن تا رد پای ورودی گم نشه.
• طبق ادعای خودشون، همین حقه معماری باعث شده مدل با فقط ۶۵ میلیارد پارامتر دنس، مدلهای فیلپیکری مثل Muse Spark-816B و Inkling-975B رو تو تسکهای برنامهنویسی ایجنتی جا بذاره و پرچمدار متنبازهای آمریکایی بشه.



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.