بچه‌های شرکت Cognition اومدن از بنچمارک جدیدشون به اسم FrontierCode 2.0 رونمایی کردن تا عیار واقعی هوش مصنوعی رو تو کدنویسی بسنجن

بچه‌های شرکت Cognition اومدن از بنچمارک جدیدشون به اسم FrontierCode 2.0 رونمایی کردن تا عیار واقعی هوش مصنوعی رو تو کدنویسی بسنجن. قضیه از این قراره که تا الان فقط چک می‌کردن کد کار می‌کنه یا نه، ولی تو این نسخه دستورا رو عمداً مبهم و بدون جزئیاتِ لقمه‌شده میدن تا ببینن مدل اصلاً شمّ مهندسی و قدرت تصمیم‌گیری داره که بشه کُدش رو واقعاً مِرج کرد یا نه. پروژه‌ها حسابی سنگین‌تر و دامنه‌دارتر شدن و نتیجه هم این شده که غول‌ترین مدل فعلی بازار تو این امتحان به زور تونسته ۴۵ درصد نمره بگیره و هنوز حسابی جای کار داره.

منبع

Cognition@cognition

Introducing FrontierCode 2.0: our new coding benchmark that measures a model’s ability to go beyond the spec. Most coding evals measure a model’s ability to write code that meets a spec. With FrontierCode 1.0, we asked a new question: would you actually merge the PR? FrontierCode 2.0 is comprised of more diverse tasks, featuring larger scopes and higher mergeability standards. We are now asking: not only would you merge this PR, but should you? One key feature of FrontierCode 2.0 is underspecified prompts. Rather than including every engineering decision, prompts are deliberately ambiguous, giving the models room to demonstrate their judgment. The result is a benchmark that is far from saturated, with the top model scoring just 45%.

۵ آبان ۱۴۰۵مشاهده در X