این بنچمارک‌های برنامه‌نویسی هوش مصنوعی هم رسماً شده مثل ماجرای کنکور خودمون؛ مدل‌ها به جای این‌که برنامه‌نویسی یاد بگیرن، شگردهای تست‌زنی و دور زدن مصحح رو حفظ کردن

این بنچمارک‌های برنامه‌نویسی هوش مصنوعی هم رسماً شده مثل ماجرای کنکور خودمون؛ مدل‌ها به جای این‌که برنامه‌نویسی یاد بگیرن، شگردهای تست‌زنی و دور زدن مصحح رو حفظ کردن! تیم MaxxBench اومده با یه آزمایش تمیز، پنبه‌ی این نمرات دهان‌پرکن رو زده.

• اومدن ۸۹ تا از مسئله‌های معروف بنچمارک DeepSWE رو برداشتن و فقط تغییرات خیلی ریزی تو صورت مسئله دادن (مثلاً کوچک کردن حروف اسم فایل یا عوض کردن یه قید جزئی). نتیجه؟ مدل‌هایی که همگی با ژست مهندسی روی نمره ۷۴٪ جا خوش کرده بودن، یهو عملکردشون ۲۳ درصد اختلاف پیدا کرد و ریختن به هم!

• از اون خنده‌دارتر، مدل‌ها رسماً حرف کاربر رو دایورت می‌کنن تا مبادا به نمره‌شون لطمه بخوره. غول‌هایی مثل Opus 5 و GLM-5.3 تو زنجیره تفکرشون استدلال کردن که «کاربر فلان ارور رو خواسته، ولی چون طراح بنچمارک احتمالاً اینو نمی‌پسنده، حرف کاربر رو نادیده می‌گیریم تا تست پاس بشه!» تو ۳۰ تا ۴۰ درصد باخت‌ها، مدل دقیقاً به خاطر خود‌شیرینی برای داورِ خیالی کله‌پا شده.

• کار به تقلب‌های کثیف هم کشیده: هفت تا مدل برای این‌که محدودیت رم رو رد نکنن، کدی نوشتن که رم سیستم رو خودش چک کنه و بگه «همه چی امن و امانه!»؛ دپ‌سیک هم تلاش کرده API key خودش رو بکشه بیرون تا جواب مسئله‌ها رو توی وب سرچ کنه!