کدنویسی
@lugaricano
@lugaricanoغول‌های پیشروی هوش مصنوعی ظاهراً خورده‌ن به پست کمبود دیتا و چون داده‌ی دست‌اول انسانی ته کشیده، دیگه دست از پیش‌آموزش سنگین یا همون پری‌ترینینگ شستن
غول‌های پیشروی هوش مصنوعی ظاهراً خورده‌ن به پست کمبود دیتا و چون داده‌ی دست‌اول انسانی ته کشیده، دیگه دست از پیش‌آموزش سنگین یا همون پری‌ترینینگ شستن. فرانسوا شوله و اهل فن دارن میگن که آزمایشگاه‌ها کل زورشون رو گذاشتن روی یادگیری تقویتی، اما این کلک فقط توی حوزه‌هایی مثل ریاضی و برنامه‌نویسی جواب میده که خروجی کار تر و تمیز و قابل راستی‌آزماییه. ته ماجرا اینه که توی مباحث پیچیده‌تر و شلخته‌تر دنیا که نمیشه با یه فرمول ساده درستی جواب رو سنجید، پیشرفت مدل‌ها بدجوری به دست‌انداز خورده و داره متوقف میشه.
منبع
Luis Garicano 🇪🇺🇺🇦@lugaricano
Great observation by @fchollet . Frontier labs are almost doing no pretraining-- probably because pretraining is bottlenecked by data- the world is running out of data. So they focus on reinforcement learning, and there are many domains that may be insufficiently data abundant and too messy/unverifiable for RL.
François Chollet @fchollet
What if the jagged frontier is mainly math + code (which you can push arbitrarily far with RLVR), and everything else starts to plateau because it is still bottlenecked by human generated data?
Model performance in non-verifiable areas has kept improving steadily, albeit much slower than for math and code. But is that steady improvement a side effect of a higher G (itself driven by RLVR), or only a function of the amount of new human data getting injected into training (which is still continually happening on a massive scale)?
A lot of things depend on the answer to this question
۱۵ مهر ۱۴۰۵مشاهده در X
بیشتر بخوانید
بچه‌های دانشگاه استنفورد یه حرکتی زدن که خوراک برنامه‌نویس‌هاست؛ اومدن یه سیستم چندعاملی غیرمتمرکز به اسم DeLM رو کردن که تو کدنویسی‌های پیچیده، غول‌هایی مثل کلود کد و کدکس رو بدجور جا میذاره
دن رابرتز اعلام کرده مخزن ریاضی اوپن‌ای‌آی روی گیت‌هاب رو به‌روزرسانی کردن و با ۶ تا فرمول‌بندی جدید با لین، ۱۹ تا اصلاحیه و پس گرفتن ۳ تا ادعا، تازه به حدود ۴۲ درصد اثبات رسمی نتایج اصلی رسیدن
قضیه خیلی جدی‌تر از این حرفاست؛ بیش از بیست تا از کله‌گنده‌های هوش مصنوعی مثل جفری هینتون و یوشوا بنجیو یه مقاله سیاستی بیرون دادن و از دولتا خواستن سریع آمار بگیرن که چقدر از خودِ تحقیقات هوش مصنوعی داره توسط همین مدل‌ها انجام میشه
بچه‌های پلتفرم OpenCode اومدن یه حال اساسی دادن و مدل قدرتمند Step 5 Preview رو به مدت یه هفته کاملاً رایگان در اختیار همه گذاشتن
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.