تراشه@dskhudia

بچه‌های دیتابریکس یه سیستم باحال به اسم «پروتئوس» راه انداختن که کارش تولید خودکار کرنل‌های اختصاصی برای پردازنده‌های گرافیکیه

بچه‌های دیتابریکس یه سیستم باحال به اسم «پروتئوس» راه انداختن که کارش تولید خودکار کرنل‌های اختصاصی برای پردازنده‌های گرافیکیه. حرف حسابشون اینه که چرا مدل‌های جمع‌وجور و غول‌پیکر باید از کدهای عمومی یکسان استفاده کنن؛ برای همین رفتن سراغ مدل Qwen 3.5 122B و با تولید کدهای اختصاصی برای شرایط اجرای واقعی، به سرعتی ۱.۸ تا ۵.۲ برابر خفن‌تر از بهترین پیاده‌سازی‌های vLLM رسیدن. البته تأکید دارن که نوشتن کد کار چندان سختی نیست، بلکه راستی‌آزمایی دقیق، ایزوله‌سازی و مطمئن شدن از بدون خطا بودن این کرنل‌ها روی جی‌پی‌یوهای واقعی اون بخش پرهزینه و پردردسر ماجراست که تازه کار اصلی اونجا رقم می‌خوره.

منبع

Daya@dskhudia
https://www.databricks.com/blog/achieving-extreme-efficiency-through-specialized-gpu-kernel-generation We recently published a blog on work on Proteus, a system for generating specialized GPU kernels. Why should models from 1B to 1T parameters rely on the same generic kernels? By specializing for the exact shapes encountered at runtime, we can unlock extreme efficiency. Using Proteus, we generated individual kernels for Qwen 3.5 122B that were 1.8–5.2× faster than the best implementations available in vLLM. But finding a fast kernel is only the beginning. The harder problem is knowing whether its results can be trusted. Generation is often the cheap step in terms of token cost. In our initial harness, knowledge and context management, not candidate generation, consumed most of the token budget. Verification introduces another cost: candidates must run on real GPUs, in isolation, often more than once. Verification must be airtight. A kernel must be functionally correct, but its performance claims also need rigorous validation: fair comparisons, multiple timers, clean state, hidden tests, and repeated measurements. Otherwise, we generate impressive numbers and not production-ready kernels. Agentic kernel generation makes extreme specialization possible. Building a reliable, production-ready system around it remains a hard frontier. At @Databricks, we’re tackling these challenges at the intersection of AI and systems to make inference faster, more efficient, and autonomously improving. @leshenj15 Previous AA results from Databricks posted by @Yuchenj_UW : https://x.com/Yuchenj_UW/status/2094993931268420072?s=20
Yuchen Jin @Yuchenj_UW
GLM-5.3 at 310 tok/s! Databricks inference is #1 in both speed and latency, again. On our internal Databricks coding benchmark, GLM-5.3 is the strongest OSS model for coding, competitive with Fable 5 and Opus 4.8.
۱۷ شهریور ۱۴۰۵مشاهده در X
Databricks

Achieving Extreme Efficiency through Specialized GPU Kernel Generation

Learn how we built an agentic system that automates the generation and rigorous validation of specialized GPU kernels to achieve extreme inference efficiency.

خواندن در سایت منبع

نظرها

    بیشتر بخوانید

    تنظیمات

    پیش‌نمایش

    انویدیا از نسل تازه‌ی تراشه‌هایش رونمایی کرد؛ متن خبرها با همین اندازه و فاصله‌ی خطوط نمایش داده می‌شود. ۱۴۰۵ — 2026

    ظاهر و متن

    پوسته
    اندازه‌ی متن
    فاصله‌ی خطوط

    خواندن و نمایش

    نمای فهرست خبرها

    استوری‌ها

    چه خبرهایی پخش شوند
    ترتیب
    دیده‌شده‌هابدون باز کردن تک‌تک خبرها

    صدا

    اعلان‌ها و موضوع‌ها

    موضوع‌هایی که دنبال می‌کنیدهنوز هیچانتخاب موضوع‌ها

    صدای فارسی

    این دستگاه صدای فارسی ندارد. نمونه‌ی صداها را بشنوید و یکی را یک بار دانلود کنید تا خبرها و خلاصه‌ی روز را بشنوید.

    راه‌های دیگر

    ویدیوی خبر

    گفتگو

    … نفر آنلاین

      خواندن کامل