گوگل
@PyTorch
گوگل و متا بالاخره دست به یکی کردن و از یه خروجی خفن به اسم TorchTPU رونمایی کردن تا پایتورچ به صورت مستقیم و بدون دنگوفنگ روی پردازندههای TPU گوگل اجرا بشه

گوگل و متا بالاخره دست به یکی کردن و از یه خروجی خفن به اسم TorchTPU رونمایی کردن تا پایتورچ به صورت مستقیم و بدون دنگوفنگ روی پردازندههای TPU گوگل اجرا بشه. با این حرکتی که زدن، قابلیتهایی مثل اجرای فوری و بکاند کامپایل اختصاصی فعال شده تا سرعت پردازش بره توی ابرها. تازه با کمک ابزارهایی مثل vLLM و تورچتایتان، غولهای سنگینی مثل مدل لاما ۳ نسخه ۴۰۵ میلیاردی و Qwen 3 MoE بدون افت راندمان و کاملاً بهینه مقیاسپذیر میشن و مثل آب خوردن اجرا میشن.
منبع
PyTorch@PyTorch
@Google & @Meta launch TorchTPU for native PyTorch support on Google TPUs!
🔥True eager execution & torch.compile backend
⚡Fast inference via vLLM & SGLang
🏋️Near-linear scaling for Llama 3 405B & Qwen 3 MoE via TorchTitan
Read more here: https://bit.ly/4hV19Ho
۲۸ مهر ۱۴۰۵مشاهده در X


نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.