الک وست‌اور از پژوهشگرای «ردوود ریسرچ» از تحقیق جدیدشون درباره «ترنسفورمرهای حلقه‌ای» گفته؛ همون روشی که به گفته اون این روزا شایعه شده شرکت‌های پیشرو هم دنبالشن

الک وست‌اور از پژوهشگرای «ردوود ریسرچ» از تحقیق جدیدشون درباره «ترنسفورمرهای حلقه‌ای» گفته؛ همون روشی که به گفته اون این روزا شایعه شده شرکت‌های پیشرو هم دنبالشن. اون می‌گه بررسیشون روی مدل «دوری» (Dory) انویدیا نشون داده حلقه‌ای کردن ترنسفورمر، توانایی‌های بدون زنجیره تفکر (no-CoT) رو خیلی بیشتر از بقیه روش‌های بالا بردن کیفیت پیش‌آموزش تقویت می‌کنه و توی مدل‌های Astra و Argon هم چنین جهشی بالاتر از روند معمول دیده شده. انگار مدل به جای چرک‌نویسِ مرحله‌به‌مرحله، تو دل خودش یه دور اضافه می‌زنه و یه‌ضرب بهتر عمل می‌کنه! 🧠

وست‌اور این تغییر معماری رو نگران‌کننده می‌دونه، هرچند زیر پستش یه کاربر هم پرسیده که اصلاً این روش توی حالت تفکر مرحله‌به‌مرحله هم چیز جدیدی اضافه می‌کنه یا نه؛ البته متن کامل یادداشت LessWrong و جزئیات نمودارهای توییت اینجا در دسترس نیست.