انویدیا
@miramurati
@miramuratiمیرا موراتی و تیم Thinking Machines خبر دادن که توی مطلب جدید وبلاگ Connectionism توضیح دادن چطور مدل «Inkling 2 Small» رو آموزش دادن
میرا موراتی و تیم Thinking Machines خبر دادن که توی مطلب جدید وبلاگ Connectionism توضیح دادن چطور مدل «Inkling 2 Small» رو آموزش دادن. به گفته اون‌ها، از همون قدم اولِ پیش‌آموزش تا مرحله آخر یادگیری تقویتی، با روش ۴-بیتیِ بومی (4-bit forward pass) روی تراشه‌های GB300 انویدیا جلو رفتن. خودِ تیمشون هم اشاره کرده که آموزش با بیت کمتر سرعت رو بالا می‌بره ولی خطای کوانتیزاسیون می‌تونه تو یادگیری اختلال ایجاد کنه؛ یه جورایی مثل تندنویسیِ سرِ کلاس که کارت سریع‌تر راه می‌افته اما اگه حواست نباشه ممکنه بعضی کلمات بد نوشته بشه. موراتی می‌گه این تغییر همراه با کلی بهینه‌سازی دیگه تو لایه‌های مختلف سیستمشون، زمان پیش‌آموزش رو از چند هفته به ۶۸ ساعت رسونده؛ البته جزئیات دقیق فنی‌ش تو خودِ مقاله وبلاگشونه و اینجا فقط همین خلاصه‌ش اومده. ⚡
منبع
Mira Murati@miramurati
Today on Connectionism: how we trained Inkling 2 Small with a native 4-bit forward pass on @nvidia GB300s, from the first pretraining step through the final RL rollout, one of the many improvements across the stack that took pretraining from weeks to 68 hours.
Thinking Machines @thinkymachines
Training with fewer bits is faster, but quantization error can interfere with learning.
Today on Connectionism, we detail how we trained Inkling 2 Small with a native 4-bit forward pass from the first step of pretraining through the final RL rollout.
https://thinkingmachines.ai/blog/end-to-end-4-bit-training
۲۳ آبان ۱۴۰۵مشاهده در X
بیشتر بخوانید
بن نورتون توی شبکه ایکس درباره برکناری جنسن هوانگ، مدیرعامل انویدیا، ادعا کرده که این اتفاق یه «کودتای شرکتی» با حمایت جریان‌های تندرو علیه چین توی واشنگتن بوده
نشریه «د اینفورمیشن» تو یه پست کوتاه در شبکه ایکس نوشته یکی از مدیران یه شرکت خدمات ابری که مشتری تراشه‌های انویدیاست، گفته با رفتن جنسن هوانگ، شرکتشون داره گزینه‌های جایگزین از گوگل و ای‌ام‌دی (AMD) رو هم سبک‌سنگین میکنه
توی این تصویر یه اسکرین‌شات طنز از لینکدین رو می‌بینیم که طرف برای یه موقعیت شغلی جدید درخواست داده؛ اونم نه هر شغلی، بلکه سمت مدیرعاملی (CEO) شرکت انویدیایه خبر خیلی کوتاه از والتر بلومبرگ اومده که به نقل از منابعی ادعا کرده جنسن هوانگ با یک کارمند دوم هم رابطه صمیمانه داشته
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.