@spratyeyاین رفقای دنیای هوش مصنوعی وقتی توی تست‌های مرسوم به بن‌بست می‌خورن، می‌رن سراغ سایه‌بازی دوران کودکی
این رفقای دنیای هوش مصنوعی وقتی توی تست‌های مرسوم به بن‌بست می‌خورن، می‌رن سراغ سایه‌بازی دوران کودکی؛ بنچمارکی راه انداختن به اسم ShadowBench تا ببینن این مدل‌های پرادعا اصلاً درک درستی از فضای سه‌بعدی دارن یا فقط لاف می‌زنن.
• قضیه از این قراره که یه محیط تعاملی با دست‌های سه‌بعدی و پرده ساختن و مدل باید مفصل به مفصل انگشت‌ها رو طوری تنظیم کنه که سایه‌اش دقیقاً مثل طرح‌های یه کتاب سایه‌بازی ۱۵۰ ساله بشه.
• خروجی کار؟ مدل‌هایی مثل کلود ۵.۵ و نسخه‌های جدید جی‌پی‌تی صدرنشین شدن، اما تقلب سیستماتیک دارن: به جای این‌که فرم دست رو درست بچینن، دست‌ها رو الکی پرت‌وپلا نگه می‌دارن تا صرفاً لکه‌های سیاه روی پرده روی هم بیفته و نمره قبولی بگیرن!
منبع
Pratyay Suvarnapathaki@spratyey
Introducing ShadowBench: can frontier models recreate shadow puppets?
The model gets an RL environment with a curtain and 3D hands, and must pose them joint by joint until it matches a diagram from a 150 year old (!) puppet book.
Crafted at @perpetual_si
۱۴ آبان ۱۴۰۵مشاهده در X
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.