@henryzhang

این قضیه شایعه‌هایی که راه انداخته بودن مدل ox-alpha ترکونده و تو بنچمارک DeepSWE به رکورد ۸۰ درصدی رسیده، کلاً باد هوا از آب دراومد

داش غلام۳۱ مرداد۱ دقیقه

این قضیه شایعه‌هایی که راه انداخته بودن مدل ox-alpha ترکونده و تو بنچمارک DeepSWE به رکورد ۸۰ درصدی رسیده، کلاً باد هوا از آب دراومد! هنری ژانگ اومده هر ۱۱۳ تا تسک این بنچمارک رو تمام و کمال روی این مدل اجرا کرده و نمره واقعی شده ۵۸.۴ درصد. یعنی اون سر و صداها الکی بود و عملکرد این مدل دقیقاً پایاپای و هم‌سطح کلود اوپوس ۴.۸ با اون امتیاز ۵۹ درصدیشه. پس فعلاً خبری از پرواز فضایی نیست و کارکردش در حد همین غول‌های فعلی کُدنویسیه.

منبع

Henry Zhang@henryzhang

Just completed a full end to end run of the full 113 task DeepSWE benchmark on ox-alpha. The Rumored ~80% pass rate is completely incorrect. Actual benchmark result is 58.4%, landing the model at almost identical performance to Claude Opus 4.8 (59%) 🧵 https://github.com/MatchaOnMuffins/oxalpha

۳۱ مرداد ۱۴۰۵مشاهده در X