
این جئول نیکلاوس اومده یه تحقیق مشتی روی ۲۵۰ تا مسئله برنامهنویسی SWE-bench Pro زده و نشون داده اون پوسته و چارچوبی که دور مدلهای هوش مصنوعی میپیچیم، حتی بیشتر از خود مدل رو نتیجه نهایی تاثیر داره
مثلاً ابزار Codex روی مدل غولپیکر GLM 5.2 رتبه دومه اما رو مدل کوچیکتر Gemma 4 میفته رتبه نهم، در حالی که ابزار عمومیتری مثل crush روی همین مدل کوچیک اول میشه و با هزینه ۳۰ سنتی (در برابر ۳.۶۱ دلار غولها) کار رو…












