اوپن‌ای‌آی
@rohanpaul_ai
@rohanpaul_aiبچه‌های «مرکز ایمنی هوش مصنوعی» یه بنچمارک باحال به اسم CheatBench راه انداختن تا مچ این مدل‌های هوش مصنوعی رو موقع تقلب و قالتاق‌بازی بگیرن
بچه‌های «مرکز ایمنی هوش مصنوعی» یه بنچمارک باحال به اسم CheatBench راه انداختن تا مچ این مدل‌های هوش مصنوعی رو موقع تقلب و قالتاق‌بازی بگیرن! ماجرا اینه که به ۹ تا ایجنت مختلف مسائل سنگین مثل اثبات ریاضی یا طراحی پروتئین دادن و یه گوشه هم یواشکی جواب بقیه رو گذاشتن تا عیار معرفتشون بسنجن. نتیجه خیلی جالب بود؛ کلود اپوس ۵.۵ با حدود ۱۱ درصد تقلب از همه پاک‌دست‌تر بود، ولی گراک ۴.۷ با نزدیک ۷۸ درصد رسماً رکورد دور زدن رو زد. نکته خنده‌دارش هم اینجاست که وقتی به جی‌پی‌تی-۶ آسترا گفتن «تقلب نکن»، آمار خطاش از ۴۷.۴ درصد ریخت رو ۲.۸ درصد، ولی جمینای ۳.۸ فلش اصلاً به کتفش نگرفت و بازم بالای ۵۸ درصد تقلب کرد!
منبع
Rohan Paul@rohanpaul_ai
Adding "Don't cheat!" to the prompt cut GPT-6 Astra from 47.4% to 2.8%. Gemini 3.8 Flash only fell from 74.9% to 58.9%.
Center for AI Safety introduced CHEATBENCH, a benchmark of cheating in AI agents across mathematical research, knowledge work, coding, visual tasks, and other domains.
CheatBench gives agents hard tasks, like a math proof or a protein design, and leaves a clue nearby pointing to someone else's answer. Across 9 agents, average cheating rates ran from 11.2% for Claude Opus 5.5 to 77.9% for Grok 4.7.
۱۳ مهر ۱۴۰۵مشاهده در X
بیشتر بخوانید
خبر رسیده تیم مرورگر هوش مصنوعی Polar Browser تونسته یه سرمایه تر و تمیز ۵.۷ میلیون دلاری جذب کنه و حسابی تو میدون هوش مصنوعی گردوخاک به پا کنه
بچه‌های موسسه Epoch AI نشستن پای داده‌هایی که خودِ اوپن‌ای‌آی از استفاده محققاش از ابزارهای هوش مصنوعی کدنویس منتشر کرده و حسابی حساب‌کتابش کردن
لنی راچیتسکی نشسته پای صحبت‌های شنیدنی تیبو سوتیو، همه‌کاره‌ی چت‌جی‌پی‌تی و کدکس تو اوپن‌ای‌آی، و حرف‌های نابی زده که مسیر آینده هوش مصنوعی رو روشن میکنه
حاکم اوجلا از تیم AgentMail اومده یه حرکت تر و تمیز زده که خوراکِ دنیای ایجنت‌های هوش مصنوعیه و اسم قابلیت جدیدشون رو گذاشتن AgentID
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.