چین
@onusoz
@onusozیه متخصصی به اسم اونور سولماز زده به سیم آخر و مدعی شده مدل DeepSeek V4.1 Flash (و حتی شاید Kimi K3) به دیتای بنچمارک‌های عمومی آلوده شده و اصطلاحاً دستش رو شده
یه متخصصی به اسم اونور سولماز زده به سیم آخر و مدعی شده مدل DeepSeek V4.1 Flash (و حتی شاید Kimi K3) به دیتای بنچمارک‌های عمومی آلوده شده و اصطلاحاً دستش رو شده. حرف حسابش اینه که این مدل توی تست‌های قدیمی گرد و خاک می‌کنه، ولی تا پای بنچمارک‌های جدیدتری وسط میاد که موقع آموزشش نبوده، رتبه‌ش بدجور سقوط می‌کنه. البته تهش با مرام قضاوت کرده و گفته چه عمداً این کارو کرده باشن چه سهواً، دیپ‌سیک هنوزم یه شاهکار تمام‌عیاره و ارزش اصلیش رو از نوآوری خفن توی معماریش می‌گیره، نه صرفاً نمره‌های دهن‌پرکُن.
منبع
Onur Solmaz@onusoz
DeepSeek V4.1 Flash looks contaminated with public benchmarks. You can see it in the data they have put in the model card, possibly Kimi K3 as well
Models that are contaminated have inverse proportionality in rank as they are tested in later benchmarks that were not present during their training
Regardless of its intentionality, it's an amazing model. Its value comes not from higher quality output, but architectural innovation
۲۲ شهریور ۱۴۰۵مشاهده در X
بیشتر بخوانید
توی بنچ‌مارک جدید ApprenticeBench که کارای واقعی و سنگین مثل کار با کامپیوتر و یادگیری ادامه‌دار رو می‌سنجه، عیار واقعی هوش‌های مصنوعی بدجوری رو شده
یه ماجرای عجیب و پر سر و صدا تو دنیای هوش مصنوعی لو رفته
بچههای دیپ‌سیک رسماً گل کاشتن و نشون دادن تو دنیای هوش مصنوعی حسابی کاردرستن
یه برنامه‌نویس کاردرست به اسم هرشا گوندالا اومده مدل Qwen-2.5-1B-RLCD رو متن‌باز کرده که خوراک استنتاج مستقیم خروجی‌های تایپ‌سیف و ساختاریافته JSON روی خود دستگاست
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.