تراشه
@magicailabs
تا دیروز همه میگفتن آموزش دادنِ مدلهای لبهی فناوری فقط کار غولهای گردنکلفتیه که صد هزار تا چیپ خفن دارن، اما بچههای استارتاپ مجیک (Magic) قشنگ زدند زیر میز

تا دیروز همه میگفتن آموزش دادنِ مدلهای لبهی فناوری فقط کار غولهای گردنکلفتیه که صد هزار تا چیپ خفن دارن، اما بچههای استارتاپ مجیک (Magic) قشنگ زدند زیر میز! اونا بدون داشتن اون همه سختافزار غولآسا و فقط با اتکا به کارایی الگوریتمی، فرمولی پیاده کردن که با ۵۰ برابر پردازش کمتر، قدرتش به پای پیشآموزش مدل DeepSeek V4 Pro میرسه. ته ماجرا اینه که کل قضیه رو با نصف توان محاسباتی لازم برای GPT-3 و هزینهای در حدود ۵۰۰ هزار دلار روی تراشههای GB200 جمعوجور کردن و تموم شد رفت.
منبع
Magic@magicailabs
Frontier pretraining is said to be a big-lab-only game. We don’t have 100k chips yet, so there’s only one way: algorithmic efficiency. Our new recipe matches DeepSeek V4 Pro’s pretrain using 50x less compute – that’s roughly half the FLOPs used for GPT3, or ~$0.5M on GB200.
http://magic.dev/blog/pretraining
۱۷ شهریور ۱۴۰۵مشاهده در X
magic.dev
>10x More Efficient Pretraining — Magic
Research update on compute-efficient pretraining and scaling to trillion-parameter models.
خواندن در سایت منبع


نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.