متنباز
@_LuoFuli
فولی لو بعد از نزدیک شش ماه سکوت مطلق برگشته و با تیمش دست گذاشته رو یه سوال اساسی: اینکه یادگیری تقویتی یا همون RL رو تا چه ابعاد بزرگی میشه بالا کشید
فولی لو بعد از نزدیک شش ماه سکوت مطلق برگشته و با تیمش دست گذاشته رو یه سوال اساسی: اینکه یادگیری تقویتی یا همون RL رو تا چه ابعاد بزرگی میشه بالا کشید. الان مدل خفن MiMo-V2.6 وسط تست آموزش خودشه و بچهها پردازش رو تا رقم وحشتناکِ حدود ۲ میلیارد توکن در هر گام بالا بردن و با ۱۵۶۸ تا پرامپت و ۱۶ بار خروجی همزمان، محیطهای چندمنظوره عاملمحور راه انداختن. سیستم پاداش و ارزیابی رو هم حسابی هوشمند کردن و از همه باحالتر اینکه قول دادن توی هفتههای آینده جزئیات این دستاورد گردنکلفت رو مرحلهبهمرحله بهصورت متنباز منتشر کنن.
منبع
Fuli Luo@_LuoFuli
Nearly half a year of silence. We spent it studying one problem: how far RL can scale.
MiMo-V2.6 is in the middle of its RL run right now. Three things we scaled: compute (~2B tokens per step, 1568 prompts × 16 rollouts, fully async), environments and harnesses (multi-task agentic RL, mixed across multiple harnesses in one run), and grader compute (agentic in-group credit assignment, with test-case and rubric-based rewards). We'll open-source the details piece by piece over the coming weeks.
Streaming the run: https://mimo.xiaomi.com/rl/
۲۵ شهریور ۱۴۰۵مشاهده در X
mimo.xiaomi.com
mimo-v2.6 RL
Training metrics of the mimo-v2.6-pro and mimo-v2.6-flash reinforcement-learning runs, live from the trainer's logs.
خواندن در سایت منبع



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.