متن‌باز@morqon

سم آلتمن دراومده گفته اینکه خیلیا فکر می‌کنن با اومدن مدل‌های متن‌باز می‌تونن همه‌چی رو لوکال روی سیستم شخصی خودشون بالا بیارن و بی‌نیاز از دیتاسنترها بشن، از بیخ یه اشتباه راهبردیه

سم آلتمن دراومده گفته اینکه خیلیا فکر می‌کنن با اومدن مدل‌های متن‌باز می‌تونن همه‌چی رو لوکال روی سیستم شخصی خودشون بالا بیارن و بی‌نیاز از دیتاسنترها بشن، از بیخ یه اشتباه راهبردیه. حرف حسابش اینه که تو این روزگار که رم‌های پرسرعت و قطعات سخت‌افزاری تو کل دنیا نایابه، اصلاً عقلانی نیست هر کی یه خروار رم گرون‌قیمت رو سیستمش ببنده و فقط پنج درصد اوقات ازش کار بکشه. به عقیده اون، بهترین راه مدیریت این منابع محدود اینه که سخت‌افزارها توی سرورهای ابری متمرکز بمونن تا بشه از حداکثر ظرفیتشون به صورت شبانه‌روزی استفاده کرد.

منبع

morgan —@morqon
sam: local inference is a terrible allocation of scarce resources “a lot of people want local inference, and somehow they assume that the problem is solved now because we have open-source models, we're going to be able to run them on our computers, and so we're not going to need all the stuff in the data centre but from a global allocation perspective, actually it's quite terrible to have everybody, like, have a bunch of the world's limited supply of DRAM sitting in their own computer and being used five percent of the time you want maximum utilisation in the cloud if you're trying to deal with this very supply-constrained environment somehow many people's intuition is the opposite of that”
۷ آبان ۱۴۰۵مشاهده در X

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل