چین
@HarshalsinghCN
طرف اومده یه مدل زبانی ۳۵ میلیون پارامتری به اسم BarunLM ساخته که فقط با یه گرافیک H200 تمرین داده شده، ولی مدلهای ۶ برابر بزرگتر از خودش مثل lfm2.5-230m رو هم لوله میکنه



طرف اومده یه مدل زبانی ۳۵ میلیون پارامتری به اسم BarunLM ساخته که فقط با یه گرافیک H200 تمرین داده شده، ولی مدلهای ۶ برابر بزرگتر از خودش مثل lfm2.5-230m رو هم لوله میکنه! با ترکیب معماریهای دیپسیک و کیمی و تقویت با RLVR بدون لیبل انسانی، یه غول کوچولو تحویل داده.
منبع
harrrshall@HarshalsinghCN
introducing BarunLM (35m) 🤗
i pretrained the world's best small model under 100m parameters.
a 35m parameter language model that outperforms models over 6x larger, including LiquidAI's lfm2.5-230m, while training on a single H200 gpu.
the gains come from a better architecture. we took inspiration from deepseek, kimi, and other frontier open source models.
BarunLM combines hybrid local and global attention, grouped query attention to reduce memory, partial rope, gated attention, bounded swiglu, and residual selectors to improve how information flows through the network.
after pretraining, we further improved the model with rlvr (reinforcement learning with verifiable rewards) using deterministic verifiers and rloo, allowing the model to reinforce correct reasoning without relying on human preference labels.
۹ مرداد ۱۴۰۵مشاهده در X



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.