اوپنایآی
@merettm
یاکوب پاچوکی از مغزهای متفکر اوپنایآی اومده میدون تا جلوی شایعات غلط رو بگیره و نذاره رقابت به سمت ساخت مدلهای غیرقابلنظارت بره
یاکوب پاچوکی از مغزهای متفکر اوپنایآی اومده میدون تا جلوی شایعات غلط رو بگیره و نذاره رقابت به سمت ساخت مدلهای غیرقابلنظارت بره. طرف توضیح داده که عمق محاسباتی مدلهای پیشرفته جدیدشون مثل Astra، فقط در حد دو برابر GPT-4 هستش و حسابکتابش دستشونه. اون تاکید کرده که اوپنایآی از اولین مدلهای استدلالی همیشه روی نظارت بر «زنجیره تفکر» هوش مصنوعی کار کرده تا مطمئن بشه مدلها از مسیر امنیتی و همراستایی خارج نمیشن. البته اینم اعتراف کرده که این روش مانیتورینگ فعلاً حساس و شکننده شده، اما سفتوسخت دارن روش تحقیق میکنن تا قویترش کنن.
منبع
Jakub Pachocki@merettm
I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4.
OpenAI has worked to preserve and utilize chain-of-thought monitoring since our very first reasoning models. We deeply care about this technique, as it can give us a view into how model alignment generalizes from its training distribution. I do think it is fragile and unfortunately trending in a negative direction, for reasons not contingent on architecture changes that I will write about soon. But there are things we can do to strengthen it, and it's a core goal of our current research program.
۱۱ شهریور ۱۴۰۵مشاهده در X



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.