استارتاپ
@hannah_chuu
یه تیم خفن از بچههای نخبه دانشگاه MIT و مدالآورای سابق المپیاد و دیپمایند زیر پرچم استارتاپ OneTriangleAI دور هم جمع شدن و بدجور بازار رو تکون دادن
یه تیم خفن از بچههای نخبه دانشگاه MIT و مدالآورای سابق المپیاد و دیپمایند زیر پرچم استارتاپ OneTriangleAI دور هم جمع شدن و بدجور بازار رو تکون دادن. این رفقا اومدن مدل DeepSeek V4 Flash رو میزبانی کردن و قیمت رو جوری شکستن که برای هر میلیون توکن ورودی فقط ۱۵ سنت و برای خروجی ۳۵ سنت شارژ میکنن. قضیه اینه که با کلی تکنیک و بهینهسازی سطحبالا روی کَش، تونستن هم سرعت پردازش و تاخیر رو فوقالعاده بهتر کنن و هم هزینه سنگین هوش مصنوعی رو حسابی پایین بکشن.
منبع
Hannah Chung@hannah_chuu
@OneTriangleAI (YC S26) is building the fastest lightweight, cheap inference and hosting @deepseek_ai V4 Flash today at $0.15/M input and $0.35/M output tokens. Live at https://onetriangle.ai/.
Our group of @MIT grads and olympiad medalists from @GoogleDeepMind, @JaneStreetGroup, and @NeurIPSConf /ICML publishers are setting a new standard for cost and latency efficiency using KV cache optimizations.
۲ شهریور ۱۴۰۵مشاهده در X
OneTriangle
OneTriangle | Inference optimized from KV cache transfer
OneTriangle optimizes multi-model inference by transferring KV cache between models, cutting redundant prefill cost.
خواندن در سایت منبع



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.