اپل
@jacekdziwisz
@jacekdziwiszمعماری تراشه‌های اپل سیلیکون حسابی گل کاشته و نشون داده خوراک بی‌چون‌وچرای مدل‌های زبانی سنگینه
معماری تراشه‌های اپل سیلیکون حسابی گل کاشته و نشون داده خوراک بی‌چون‌وچرای مدل‌های زبانی سنگینه. قضیه از این قراره که مک استودیو با چیپ M5 اولترا و ۵۱۲ گیگابایت رم با پهنای باند وحشتناک ۱.۲ ترابایت بر ثانیه، مدل غول‌پیکر ۳۲۰ میلیارد پارامتری GLM-5.3-Flash رو در حالت FP8 قورت می‌ده و آفلاین روی میز کار، با سرعت ۶۰ توکن بر ثانیه تحویلت می‌ذاره. برای اینکه بتونی همچین شاهکاری رو روی پی‌سی شبیه‌سازی کنی، باید بیشتر از ۲۰ هزار دلار پیاده بشی، ۱۰ تا کارت گرافیک RTX 5090 ببندی و یه مینی‌نیروگاه اختصاصی هم کنارش راه بندازی تا از پس برقش بربیای!
منبع
Jacek Dziwisz@jacekdziwisz
Architektura Apple Silicon okazała się strzałem w dziesiątkę pod LLMy. Magia połączenia szybkiej pamięci, przepustowości i zunifikowanej architektury. Mac Studio M5 Ultra (512 GB, 1.2 TB/s) mieści pełnego GLM-5.3-Flash (320B) w FP8 i wyciąga ~60 t/s offline, na biurku. Alternatywa na PC? 10x RTX 5090 za ponad $20 000 i własna mini elektrownia.
۷ شهریور ۱۴۰۵مشاهده در X
بیشتر بخوانید
تحلیل‌گرهای دنیای هوش مصنوعی معتقدن اپل با معرفی مک استودیوهای مجهز به تراشه M5 Ultra حسابی برای انویدیا خط و نشون کشیده
سیستمهای مک اپل بدجوری توی دل غول‌ها و برنامه‌نویس‌های هوش مصنوعی جا باز کردن
تیم کوک رسماً اعلام کرده که امروز آخرین روز فعالیتش به عنوان مدیرعامل غول تکنولوژی اپله
مجله تایم آزالیا میرحسینی و آنا گلدی رو گذاشته تو لیست ۱۰۰ چهره تأثیرگذار هوش مصنوعی، و الحق که گل کاشتن
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.