بچه‌های دیپ‌سیک فریم‌ورک استنتاج داخلی خودشون به اسم دیپ‌اینفر رو برای نسخه جدید مدلشون اوپن‌سورس کردن، اما اصل اطلاعات ناب و عدد و رقم‌های دندون‌گیر رو به‌جای توییتر، تو شبکه اجتماعی چینی ژیهو لو دادن

بچه‌های دیپ‌سیک فریم‌ورک استنتاج داخلی خودشون به اسم دیپ‌اینفر رو برای نسخه جدید مدلشون اوپن‌سورس کردن، اما اصل اطلاعات ناب و عدد و رقم‌های دندون‌گیر رو به‌جای توییتر، تو شبکه اجتماعی چینی ژیهو لو دادن. طبق اون آمار، فقط یه کلاسترشون روزانه رقم دیوانه‌وار ۱۵۵ تریلیون توکن خروجی میده و درآمد هر کارت گرافیک توی ساعت‌های غیرپیک حدود ۳۸ دلاره. از اونجایی که هزینه هر ساعت جی‌پی‌یو نهایتاً بین ۵ تا ۱۰ دلاره، این رفقای چینی دارن ادعا می‌کنن که حتی با این قیمت‌های کف‌بازاری خودشون، حاشیه سود ۸۰ درصدی از سرویس‌دهی مدل‌ها به جیب می‌زنن.

منبع

swyx@swyx

deepseek posted way more alpha on their zhihu page, if you only read twitter you are reading the laowai approved stuff "Based on this framework, we have implemented a high-throughput, low-latency large-scale inference service for DeepSeek V4.1 Flash. Currently, the service throughput of a single cluster is 155 trillion tokens/day, and the overall revenue is $38 per card per hour (based on off-peak prices)." it costs roughtly $5-10 per gpu hour so depseek is claiming 80% serving margin at THEIR prices lololololol

DeepSeek @deepseek_ai

🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 http://github.com/deepseek-ai/DeepInfer 1/4

۲۸ مهر ۱۴۰۵مشاهده در X

منبع

نظرها

بیشتر بخوانید

تنظیمات

ظاهر و متن

خواندن و نمایش

استوری‌ها

صدا

اعلان‌ها و موضوع‌ها

صدای فارسی

راه‌های دیگر

ویدیوی خبر

گفتگو