بچههای Julius AI دست گذاشتن رو نقطه حساس والاستریت و بنچمارکی به اسم DeepFinance دادن بیرون تا ببینن این مدلهای پرادعا واقعاً عرضهی چرخوندن یه معامله بالای ۱۰۰ میلیون دلاری رو دارن یا فقط بلدن جدول ضرب اکسل تحویل بدن

بچههای Julius AI دست گذاشتن رو نقطه حساس والاستریت و بنچمارکی به اسم DeepFinance دادن بیرون تا ببینن این مدلهای پرادعا واقعاً عرضهی چرخوندن یه معامله بالای ۱۰۰ میلیون دلاری رو دارن یا فقط بلدن جدول ضرب اکسل تحویل بدن.
• ۲۱ پرونده سنگین و واقعی از دل معاملات پرایوت اکوئیتی و بانکداری سرمایهگذاری، طراحیشده توسط کارکشتههای Evercore و JP Morgan؛ کارهایی که برای یه تحلیلگر استخوانخردکرده ۲۰ تا ۴۰ ساعت زمان میبره.
• نتایج روی زمین: بهترین و شاخترین مدل تو این آزمونها زورش فقط به نمره ||۵۴.۶|| رسیده و کف جدول هم رو حوالی ۲۰ دستوپا میزنه؛ یعنی تا منطق و تصمیمگیری واقعی فرسنگها فاصله دارن.
منبع
DeepFinance
An ultra long-horizon benchmark for measuring models on real-world Private Equity and Investment Banking workflows, graded on output, workflow, and judgment.
خواندن در سایت منبع



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.