تراشه@magicailabs

تا دیروز همه می‌گفتن آموزش دادنِ مدل‌های لبه‌ی فناوری فقط کار غول‌های گردن‌کلفتیه که صد هزار تا چیپ خفن دارن، اما بچه‌های استارتاپ مجیک (Magic) قشنگ زدند زیر میز

تا دیروز همه می‌گفتن آموزش دادنِ مدل‌های لبه‌ی فناوری فقط کار غول‌های گردن‌کلفتیه که صد هزار تا چیپ خفن دارن، اما بچه‌های استارتاپ مجیک (Magic) قشنگ زدند زیر میز! اونا بدون داشتن اون همه سخت‌افزار غول‌آسا و فقط با اتکا به کارایی الگوریتمی، فرمولی پیاده کردن که با ۵۰ برابر پردازش کمتر، قدرتش به پای پیش‌آموزش مدل DeepSeek V4 Pro می‌رسه. ته ماجرا اینه که کل قضیه رو با نصف توان محاسباتی لازم برای GPT-3 و هزینه‌ای در حدود ۵۰۰ هزار دلار روی تراشه‌های GB200 جمع‌وجور کردن و تموم شد رفت.

منبع

Magic@magicailabs
Frontier pretraining is said to be a big-lab-only game. We don’t have 100k chips yet, so there’s only one way: algorithmic efficiency. Our new recipe matches DeepSeek V4 Pro’s pretrain using 50x less compute – that’s roughly half the FLOPs used for GPT3, or ~$0.5M on GB200. http://magic.dev/blog/pretraining
۱۷ شهریور ۱۴۰۵مشاهده در X
magic.dev

>10x More Efficient Pretraining — Magic

Research update on compute-efficient pretraining and scaling to trillion-parameter models.

خواندن در سایت منبع

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل