بچههای دیتابریکس یه سیستم باحال به اسم «پروتئوس» راه انداختن که کارش تولید خودکار کرنلهای اختصاصی برای پردازندههای گرافیکیه

بچههای دیتابریکس یه سیستم باحال به اسم «پروتئوس» راه انداختن که کارش تولید خودکار کرنلهای اختصاصی برای پردازندههای گرافیکیه. حرف حسابشون اینه که چرا مدلهای جمعوجور و غولپیکر باید از کدهای عمومی یکسان استفاده کنن؛ برای همین رفتن سراغ مدل Qwen 3.5 122B و با تولید کدهای اختصاصی برای شرایط اجرای واقعی، به سرعتی ۱.۸ تا ۵.۲ برابر خفنتر از بهترین پیادهسازیهای vLLM رسیدن. البته تأکید دارن که نوشتن کد کار چندان سختی نیست، بلکه راستیآزمایی دقیق، ایزولهسازی و مطمئن شدن از بدون خطا بودن این کرنلها روی جیپییوهای واقعی اون بخش پرهزینه و پردردسر ماجراست که تازه کار اصلی اونجا رقم میخوره.
منبع
Achieving Extreme Efficiency through Specialized GPU Kernel Generation
Learn how we built an agentic system that automates the generation and rigorous validation of specialized GPU kernels to achieve extreme inference efficiency.
خواندن در سایت منبع




نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.