چین
@ysu_nlp
@ysu_nlpتوی بنچ‌مارک جدید ApprenticeBench که کارای واقعی و سنگین مثل کار با کامپیوتر و یادگیری ادامه‌دار رو می‌سنجه، عیار واقعی هوش‌های مصنوعی بدجوری رو شده
توی بنچ‌مارک جدید ApprenticeBench که کارای واقعی و سنگین مثل کار با کامپیوتر و یادگیری ادامه‌دار رو می‌سنجه، عیار واقعی هوش‌های مصنوعی بدجوری رو شده. نتایج نشون می‌ده که هنوز فاصله بین مدل‌های بسته و متن‌باز تو کارهای دانشی واقعی مثل یه دره عمیقه؛ طوری که مدل Fable 5.1 تونسته با دقت ۷۲ درصد و هزینه حدود ۱۸ دلار برای هر تسک سربلند بیرون بیاد. اون طرف قضیه مدل Kimi K3 رو داریم که نه تنها با دقت ۱۸ درصد عملاً کم آورده، بلکه واسه هر تسک حدود ۲۶ دلار هم خرج رو دست آدم گذاشته.
منبع
Yu Su@ysu_nlp
ApprenticeBench is probably one of the most differentiating benchmarks right now.
and it shows how large the gap between open and closed models still is on a real knowledge job:
Fable 5.1: 72%, $18.23 per task
Kimi K3: 18%, $25.83 per task
NeoCognition @NeoCognition
ApprenticeBench, just like a real job, is a comprehensive test: computer use, continual learning with memory notes, long-horizon... if a model has any weaknesses in any aspect, it shows.
> strong differentiation across models
> frontier models are already more accurate than human professionals, but also come with a 250% cost
> large gap between open (Kimi K3's 18%) and closed (Fable 5.1's 72%). Open models are not necessarily cheaper either, because they may spend a lot of tokens when struggling.
۲۰ شهریور ۱۴۰۵مشاهده در X
بیشتر بخوانید
یه ماجرای عجیب و پر سر و صدا تو دنیای هوش مصنوعی لو رفته
بچههای دیپ‌سیک رسماً گل کاشتن و نشون دادن تو دنیای هوش مصنوعی حسابی کاردرستن
دیپ‌سیک باز دست به کار شده و با معرفی مدل جدید DeepSeek-V4.1-Flash حسابی گردوخاک راه انداختهبچه‌های دیپ‌سیک دوباره دست‌به‌کار شدن و مدل جدیدشون به اسم DeepSeek-V4.1-Flash رو معرفی کردن که ادعا می‌کنن حسابی تیزتر، پرسرعت‌تر و کم‌مصرف‌تر از قبل عمل می‌کنه
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.