چین@HarshalsinghCN

طرف اومده یه مدل زبانی ۳۵ میلیون پارامتری به اسم BarunLM ساخته که فقط با یه گرافیک H200 تمرین داده شده، ولی مدل‌های ۶ برابر بزرگ‌تر از خودش مثل lfm2.5-230m رو هم لوله می‌کنه

طرف اومده یه مدل زبانی ۳۵ میلیون پارامتری به اسم BarunLM ساخته که فقط با یه گرافیک H200 تمرین داده شده، ولی مدل‌های ۶ برابر بزرگ‌تر از خودش مثل lfm2.5-230m رو هم لوله می‌کنه! با ترکیب معماری‌های دیپ‌سیک و کیمی و تقویت با RLVR بدون لیبل انسانی، یه غول کوچولو تحویل داده.

منبع

harrrshall@HarshalsinghCN
introducing BarunLM (35m) 🤗 i pretrained the world's best small model under 100m parameters. a 35m parameter language model that outperforms models over 6x larger, including LiquidAI's lfm2.5-230m, while training on a single H200 gpu. the gains come from a better architecture. we took inspiration from deepseek, kimi, and other frontier open source models. BarunLM combines hybrid local and global attention, grouped query attention to reduce memory, partial rope, gated attention, bounded swiglu, and residual selectors to improve how information flows through the network. after pretraining, we further improved the model with rlvr (reinforcement learning with verifiable rewards) using deterministic verifiers and rloo, allowing the model to reinforce correct reasoning without relying on human preference labels.
۹ مرداد ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل