دنیای هوش مصنوعی دوباره یه تکون اساسی خورده و بعد از سر و صدای مدل‌های MoE در سال ۲۰۲۳، حالا نوبت به معرفی معماری جدیدی به اسم MoR یا همون «ترکیب بازگشت‌ها» توی سال ۲۰۲۵ رسیده

دنیای هوش مصنوعی دوباره یه تکون اساسی خورده و بعد از سر و صدای مدل‌های MoE در سال ۲۰۲۳، حالا نوبت به معرفی معماری جدیدی به اسم MoR یا همون «ترکیب بازگشت‌ها» توی سال ۲۰۲۵ رسیده. قضیه از این قراره که اگه مدل‌های قبلی عرض شبکه رو شرطی می‌کردن، این تکنیک جدید عمق رو دستکاری می‌کنه تا هر توکن خودش تعیین کنه چند دور توی لایه‌ها بچرخه. یعنی یه مسیریاب هوشمند گذاشتن تا توکن‌های آسون بعد یه دور سریع کارشون تموم بشه و رد بشن، ولی لقمه‌های سخت‌تر و پیچیده چندین بار توی لوپ بمونن تا کامل تحلیل بشن. با این ترفند، همون وزن‌های قبلی دوباره به کار گرفته میشن و توان پردازشی الکی هدر نمیره و فقط خرج جاهای واجب میشه.

منبع

Reza Bayat@reza_byt

Dense → Mixture of Experts (MoE), 2023 Uniform Looped Transformer → Mixture of Recursions (MoR), 2025 Same move, different axis: MoE makes width conditional: each token picks its experts. MoR makes depth conditional: each token picks how many times it loops. A learned router lets easy tokens exit after one pass while hard ones keep recursing. Same weights reused, compute spent where it's actually needed. Paper (NeurIPS 2025): http://arxiv.org/abs/2507.10524

۱۱ شهریور ۱۴۰۵مشاهده در X

arXiv.org

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation

Scaling language models unlocks impressive capabilities, but the accompanying computational and memory demands make both training and deployment expensive. Existing efficiency efforts typically target either parameter sharing or adaptive computation, leaving open the question of how to attain both simultaneously. We introduce Mixture-of-Recursions (MoR), a unified framework that combines the two a

خواندن در سایت منبع

منبع

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation

نظرها

تنظیمات

ظاهر و متن

خواندن و نمایش

استوری‌ها

صدا

اعلان‌ها و موضوع‌ها

صدای فارسی

راه‌های دیگر

ویدیوی خبر

گفتگو