چین
@baseten
@basetenشرکت Baseten اعلام کرده یه موتور استنتاج (inference engine) متن‌باز برای مدل DeepSeek V4.1-Flash ساخته و روی گیت‌هاب گذاشته
شرکت Baseten اعلام کرده یه موتور استنتاج (inference engine) متن‌باز برای مدل DeepSeek V4.1-Flash ساخته و روی گیت‌هاب گذاشته. به گفته خودشون، هسته این موتور رو از صفر فقط با Rust و CUDA نوشتن و سراغ ابزارهایی مثل PyTorch یا SGLang نرفتن؛ انگار به جای سرهم کردن قطعات آماده، موتور رو از همون پایه توی کارگاه خودشون تراش داده باشن. 🚀
خودشون این آمار رو از سرعتش اعلام کردن:
• حدود ۱,۷۴۰ توکن بر ثانیه (decode) روی ۴ تا پردازنده B300
• حدود ۲,۰۶۰ توکن بر ثانیه (decode) روی ۸ تا B300
• پردازش اولیه (prefill) برای ۱ میلیون توکن در حدود ۱۲ ثانیه
منبع
Baseten@baseten
We built an inference engine for DeepSeek V4.1-Flash from scratch in Rust and CUDA.
4xB300: ~1,740 TPS decode
8xB300: ~2,060 TPS decode
1M-token prefill in ~12s
It's open-source.
Phil Howes @saltyph
we built an inference engine for deepseek v4.1-flash from scratch. the core engine is just rust + cuda. no pytorch, no sglang, no dsls, etc.
~1740 TPS decode on 4xB300, 2060TPS on 8xB300. 1M token prefill in ~12s.
it's up on github
۲۳ آبان ۱۴۰۵مشاهده در X
بیشتر بخوانید
تیم کوئن خبر داده که نسل جدید مدل‌هاشون یعنی Qwen4 در راهه
شرکت MiniMax از مدل جدید تولید تصویرش به نام MiniMax H3-Image رونمایی کرده و وزنش رو هم به‌صورت متن‌باز روی هاگینگ‌فیس در دسترس گذاشته
یه برنامه‌نویس کاردرست به اسم هرشا گوندالا اومده مدل Qwen-2.5-1B-RLCD رو متن‌باز کرده که خوراک استنتاج مستقیم خروجی‌های تایپ‌سیف و ساختاریافته JSON روی خود دستگاست
بچههای تیم ریکرسیو با دست‌فرمون شایان طلایی یه مدل ۶۵ میلیاردی دادن بیرون به اسم Ripple-65B که ادعا می‌کنه تو کدنویسی ایجنتی شاخ غول‌های چندصد میلیاردی رو شکسته، اما اصل قصه زیر کاپوت و معماری متفاوتیه که سوار کردن
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.