بچههای اوپنروتر سیستم مسیریابی درخواستهاشون رو از بیخ و بن بازنویسی کردن

بچههای اوپنروتر سیستم مسیریابی درخواستهاشون رو از بیخ و بن بازنویسی کردن؛ قدیما ملاک اصلی فقط ارزونتر بودن پرومپت بود که باعث میشد سرویسهای کند و پر از خطا ترافیک بگیرن و پرووایدرها هم دست به قیمتسازی عجیب بزنن. تو الگوریتم جدید، فرمول هوشمندی سوار کردن که همزمان قیمت واقعی، سرعت تولید اولین توکن، پهنای باند، نرخ خطای سرور و کیفیت خروجی رو میسنجه و بار رو سمت اونی میفرسته که بیشترین ارزش رو بده. نتیجه آزمایش رسمی روی ۲۴ میلیون درخواست هم نشون داد خطاهای ظرفیت یا همون ۴۲۹ معروف حدود ۴۶ درصد کمتر شده و سرعت و حجم پاسخدهی نزدیک ۱۷ درصد ارتقا پیدا کرده، در حالی که هزینه نهایی فقط ۶ درصد تکون خورده. کار قشنگشون هم اینه که برای استفاده از این سیستم نو به هیچ تغییری تو کد نیاز نیست، هرچند اگه یکی هنوزم دنبال ارزونترین گزینه باشه، میتونه دستی روی حالت قیمتی فیلترش کنه.
منبع
How OpenRouter rebuilt provider routing for better, faster inference
OpenRouter's new default provider routing scores each provider on effective price, throughput, reliability, availability, and output quality for every request instead of ranking mostly by prompt token price. Measured with a switchback experiment against the old router.
خواندن در سایت منبعHow OpenRouter rebuilt provider routing for better, faster inference
OpenRouter's new default provider routing scores each provider on effective price, throughput, reliability, availability, and output quality for every request instead of ranking mostly by prompt token price. Measured with a switchback experiment against the old router.
خواندن در سایت منبع
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.