اوپن‌ای‌آی
@danshipper
@danshipperدن شیپر اومده مدل‌های هوش مصنوعی رو برده گوشه رینگ و یه بنچمارک سنگین در حد مهندس ارشد روشون پیاده کرده تا عیارشون مشخص بشه
دن شیپر اومده مدل‌های هوش مصنوعی رو برده گوشه رینگ و یه بنچمارک سنگین در حد مهندس ارشد روشون پیاده کرده تا عیارشون مشخص بشه. ماجرا اینه که به مدل‌ها یه کد شلخته و سرهم‌بندی‌شده دادن و گفتن باید از بیخ و بن تر و تمیز بازنویسیش کنن تا ببینن تو کار واقعی چقدر به درد برنامه‌نویسی می‌خورن. اما مدل Muse Wonder بدجوری لنگ زد و با امتیاز ناامیدکننده ۵۲ درصد حسابی عقب موند، مخصوصاً وقتی می‌بینی مدلی مثل GPT-Sol 6.1 تونسته امتیاز ۷۱ درصد رو دشت کنه و فاصله‌شو با بقیه نشون بده.
منبع
Dan Shipper@danshipper
disappointing showing for Muse Wonder on our senior engineer benchmark.
it asks the model to rewrite a vibe coded slop codebase from scratch—good measure of its usefulness for real-world engineering
Muse Wonder gets 52%—far behind event GPT-Sol 6.1 at 71%
https://checks.every.to/p/senior-engineer-benchmark
۲۱ مهر ۱۴۰۵مشاهده در X
بیشتر بخوانید
سم آلتمن راست می‌گفت که این روزا چه بخوای چه نخوای، هر شرکتی شده یه شرکت مبتنی بر API
تیم Reason یه ابزار تروتمیز و همه‌فن‌حریف رو به‌صورت کاملاً رایگان روونه بازار کرده که خوراکِ مدیریت و کاهش هزینه‌ها توی کارهای هوش مصنوعیه
وانگ شینگ‌شینگ، مدیرعامل شرکت معروف رباتیک یونیتری، اعتراف کرده که بزرگ‌ترین اشتباه ده سال گذشته‌ش جدی نگرفتن قدرت هوش مصنوعی بوده و حالا بدجوری سر عقل اومده
ماجرا پلیسی و عجیب شده؛ اوپن‌ای‌آی اعلام کرده یه دستگاه شنود خیلی پیشرفته توی یکی از دفتراشون پیدا کردن و جالب اینجاست که با مدل‌های هوش مصنوعی خودشون تونستن این گجت رو آنالیز کنن و ته و توی قضیه رو دربیارن
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.