جان بارون یه خبر خفن داده و رو کرده که تمام پیادهسازیهای فعلیِ توابع حیاتی سافتمکس و کراسانتروپی توی پایتورچ، جکس و حتی کتابهای مرجع، دو تا باگ ظریف و نامحسوس دارن
جان بارون یه خبر خفن داده و رو کرده که تمام پیادهسازیهای فعلیِ توابع حیاتی سافتمکس و کراسانتروپی توی پایتورچ، جکس و حتی کتابهای مرجع، دو تا باگ ظریف و نامحسوس دارن. طرف میگه با یه بازنویسیِ خیلی ساده و جمعوجور میشه هر دو تا اشکال رو قشنگ حل کرد تا محاسبات دقیقتر بشن. از اون باحالتر اینه که این رفع باگ، پدیده تیرکمانی یا همون جهشهای عجیب (slingshots) رو که موقع یادگیری عمیق و گراک کردن مدلها پیش میاد، کلاً ریشهکن میکنه.
منبع
Jon Barron@jon_barron
Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:
۱ آبان ۱۴۰۵مشاهده در X
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.