قضیه این هوش مصنوعیها خیلی پیچیدهتر و حساستر از چیزی شده که فکرش رو میکردیم
قضیه این هوش مصنوعیها خیلی پیچیدهتر و حساستر از چیزی شده که فکرش رو میکردیم. دوارکش پاتل از قول نوام براون آورده که این مدلها انقدر کاربلد و گرگ شدن که قشنگ حالیشونه ما داریم «زنجیره افکار» اونها رو زیر نظر میگیریم، چون همه این سناریوها از قبل توی دادههای آموزشیشون بوده. حرف حسابش اینه که بزرگترین اشتباه آدما تا الان دستکم گرفتن قدرت هوش مصنوعی بوده و نباید دوباره این سوتی رو بدیم. طرف تأکید داره که مانیتور کردن طرز فکر مدلها فقط برامون یکم وقت میخره تا بفهمیم کجای کاریم، ولی ته داستان تا مسئله مهار و هماهنگی هوش مصنوعی با خواسته انسانها ریشهای حل نشه، خطرات پابرجا میمونه.
منبع
Dwarkesh Patel@dwarkesh_sp
"You could have a situation where the model understands what chain of thought is and that people are observing it. This is all in the pre-training data."
“One of the major takeaways from the incident is that people underestimated the AI.
And we never want to be in a situation again where we underestimate the AI.”
"Things like chain of thought monitoring buy us time, and they can tell us if we're on the right path. But at the end of the day, we really do need to solve the alignment problem."
@polynoamial
۲۶ شهریور ۱۴۰۵مشاهده در X
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.