@jon_barron

جان بارون یه خبر خفن داده و رو کرده که تمام پیاده‌سازی‌های فعلیِ توابع حیاتی سافت‌مکس و کراس‌انتروپی توی پای‌تورچ، جکس و حتی کتاب‌های مرجع، دو تا باگ ظریف و نامحسوس دارن

جان بارون یه خبر خفن داده و رو کرده که تمام پیاده‌سازی‌های فعلیِ توابع حیاتی سافت‌مکس و کراس‌انتروپی توی پای‌تورچ، جکس و حتی کتاب‌های مرجع، دو تا باگ ظریف و نامحسوس دارن. طرف می‌گه با یه بازنویسیِ خیلی ساده و جمع‌وجور می‌شه هر دو تا اشکال رو قشنگ حل کرد تا محاسبات دقیق‌تر بشن. از اون باحال‌تر اینه که این رفع باگ، پدیده تیرکمانی یا همون جهش‌های عجیب (slingshots) رو که موقع یادگیری عمیق و گراک کردن مدل‌ها پیش میاد، کلاً ریشه‌کن می‌کنه.

منبع

Jon Barron@jon_barron
Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's JAX, PyTorch, textbooks, etc) have a subtle bug --- two bugs, actually. A simple rewrite fixes both, and eliminates "slingshots" when grokking:
۱ آبان ۱۴۰۵مشاهده در X

نظرها

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل