کدنویسی@talaei_shayan

بچه‌های تیم ریکرسیو با دست‌فرمون شایان طلایی یه مدل ۶۵ میلیاردی دادن بیرون به اسم Ripple-65B که ادعا می‌کنه تو کدنویسی ایجنتی شاخ غول‌های چندصد میلیاردی رو شکسته، اما اصل قصه زیر کاپوت و معماری متفاوتیه که سوار کردن

بچه‌های تیم ریکرسیو با دست‌فرمون شایان طلایی یه مدل ۶۵ میلیاردی دادن بیرون به اسم Ripple-65B که ادعا می‌کنه تو کدنویسی ایجنتی شاخ غول‌های چندصد میلیاردی رو شکسته، اما اصل قصه زیر کاپوت و معماری متفاوتیه که سوار کردن:

• با ۸۰ تا لایه و عرض ۵,۱۲۰، نسبت ابعادش شده ۶۴؛ یعنی با یه ساختار به‌شدت عمیق و لاغر طرفیم که روی کاغذ، اطلاعات توکن اولیه وسط این همه لایه شسته و رقیق می‌شه.

• اینا به جای اینکه مثل DeepSeek یا Kimi دست به ساختار اصلی مسیر پس‌ماند (Residual Stream) بزنن، تکنیک Value Residuals رو پیاده کردن؛ یعنی امبدینگ توکن اصلی رو مستقیماً با وزن‌های یادگرفتنی به مقادیر اتنشن (Attention Values) هر لایه تزریق می‌کنن تا رد پای ورودی گم نشه.

• طبق ادعای خودشون، همین حقه معماری باعث شده مدل با فقط ۶۵ میلیارد پارامتر دنس، مدل‌های فیل‌پیکری مثل Muse Spark-816B و Inkling-975B رو تو تسک‌های برنامه‌نویسی ایجنتی جا بذاره و پرچم‌دار متن‌بازهای آمریکایی بشه.

منبع

Shayan Talaei@talaei_shayan
I made a 3D visualization of Ripple-65B Preview's architecture! Check it out here (with an easter egg): https://shayantalaei.com/ripple-65b/ Ripple is a dense model with 80 layers and a width of 5,120, so its aspect ratio is 64. That makes it very deep for its width. In a model this deep, each layer keeps adding its output to the residual stream, and by the deeper layers the original token information gets diluted. Most recent architectures handle this by changing the residual stream itself, like DeepSeek's manifold-constrained hyper-connections (mHC) or Kimi's Attention Residuals. We went with value residuals instead. Every layer mixes the original token embedding back into its attention values, and a learned weight in each layer decides how much.
Ricursive Intelligence @RicursiveAI
Today we release Ripple-65B Preview, our 65B dense LLM we pretrained from scratch. Ripple sets a new state-of-the-art for U.S. open-weight models in agentic coding tasks, surpassing significantly larger models including Muse Spark Open-816B, Beam-501B, Inkling-975B, and Nemotron 3 Ultra-550B. Learn more: https://www.ricursive.com/ripple
۱۴ آبان ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل