سرگرمی
@rohanpaul_ai
انگار تو دنیای هوش مصنوعی هم مثل فوتباله؛ لازم نیست یه مربی خودش تو زمین بازیکن ششدانگی باشه تا بتونه شاگردش رو راه بندازه، همین که بعد از بازی فیلم رو ببینه و درست و غلطِ حرکتها رو تشخیص بده کافیه

انگار تو دنیای هوش مصنوعی هم مثل فوتباله؛ لازم نیست یه مربی خودش تو زمین بازیکن ششدانگی باشه تا بتونه شاگردش رو راه بندازه، همین که بعد از بازی فیلم رو ببینه و درست و غلطِ حرکتها رو تشخیص بده کافیه! 🤖
• به گفتهی روهان پال که پژوهش جدید دانشگاه ژجیانگ رو روایت کرده، یه مدل تصمیمگیر به اسم JEV (که بهجای متن نوشتن، بین گزینهها انتخاب میکنه) وقتی خودش دستبهکار میشه فقط ۴۲.۹ درصد کارهای شبیهسازیشدهی خونگی توی آزمون ALFWorld رو کامل میکنه.
• با این حال، وقتی همین مدل بعد از تموم شدن کارِ مدلِ دیگه (Qwen2.5-1.5B) کل مسیر رو مرور میکنه و به تکتک قدمها نمره میده تا توی آموزش GRPO به کار بره، نرخ موفقیت اون مدل از ۷۲.۸ درصد (با پاداشدهی فقط به نتیجهی آخر) به ۸۲.۹ درصد بالا میره.
منبع
Rohan Paul@rohanpaul_ai
AI model that is itself bad at a task can still train another AI to do it well.
New paper shows that a decision model called JEV, an AI model built to pick between options instead of writing text, completes only 42.9% of simulated household tasks on its own, yet by reviewing another AI’s moves afterward it raised that AI’s success from 72.8% to 82.9%.
New Zhejiang University paper shows that an AI model that is bad at a task can still train another AI to do it well, by reviewing each of its moves after the attempt ends.
Agent RL usually rewards only the final outcome, so every step gets the same credit. Scoring each step usually needs per-environment labels or an LLM judge at every action.
They tested decision models, which return a choice with probabilities instead of text, as actors and as step graders on ALFWorld and WebShop. As a grader, the model sees the whole run and scores whether each action helped, and those scores are added to GRPO training.
The decision model JEV completes only 42.9% of ALFWorld tasks when acting. As a grader, it lifts a Qwen2.5-1.5B policy to 82.9% success, up from 72.8% with GRPO outcome rewards alone.
Choose step graders by how well they judge recorded runs, not how well they act, and ask about each action, not the outcome.
۲۳ آبان ۱۴۰۵مشاهده در X
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.