تیم کیوئن (Qwen) از یه سیستم خفن به اسم QwenGyre رونمایی کرده که خوراکِ آموزش مدلهای هوش مصنوعی با یادگیری تقویتی توی کارهای فوقالعاده طولانی و سنگینه

تیم کیوئن (Qwen) از یه سیستم خفن به اسم QwenGyre رونمایی کرده که خوراکِ آموزش مدلهای هوش مصنوعی با یادگیری تقویتی توی کارهای فوقالعاده طولانی و سنگینه. این سیستم با یه زمانبندی کشسان و باحال، کارتهای گرافیک رو بین جمعآوری داده و تمرین مدل جابهجا میکنه تا سرعت کار تا ۱.۸۵ برابر بالا بره و پردازش متوقف نشه. علاوهبر این، با سروسامان دادن به شاخههای مختلف اجرای وظایف و ثبت پیشرفتهای نصفهنیمه، نمیذاره هیچ تلاشی حروم بشه. دستآخر هم روی مدلهای غولپیکرش با حدود ۷۰۰ هزار توکن تستش کردن و تونستن زمان آموزش رو نزدیک به ۴۴ درصد کاهش بدن و دقت مدل رو هم قشنگ چند پله ببرن بالاتر.
منبع
QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents
Large language model (LLM) agents increasingly undertake extreme-long (xlong) horizon tasks, where a single execution can span hours, hundreds of model--environment interactions, and nearly 1M tokens per rollout. Applying online reinforcement learning (RL) to such executions poses two fundamental challenges: (1) severe execution variance and prolonged rollout delays cause massive GPU idling; and (
خواندن در سایت منبع



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.