توسعه‌دهنده‌ای به اسم پرانجال با همکاری تیم LMSYS گزارشی منتشر کرده و از پیاده‌سازی یک «مگاکرنل» (Megakernel) یکپارچه برای پردازش هم‌زمان لایه‌های مدل Muse Spark خبر داده

توسعه‌دهنده‌ای به اسم پرانجال با همکاری تیم LMSYS گزارشی منتشر کرده و از پیاده‌سازی یک «مگاکرنل» (Megakernel) یکپارچه برای پردازش هم‌زمان لایه‌های مدل Muse Spark خبر داده.

طبق توضیحات اونا، این روش محاسبات لایه (شامل MoE و Attention) رو در قالب یک کرنل اجرا می‌کنه و تعداد دفعات اجرای کرنل در هر مرحله رو از ۱۴۵۰ بار به ۹۷ بار کاهش داده:

• روی سیستمی با ۸ پردازنده GB300، سرعت تولید از ۵۱۷ به ۱۱۰۹ توکن بر ثانیه رسیده که یعنی حدود ۲.۱ برابر سریع‌تر از حالت پایه.

• با بهینه‌سازی دقیق کَشِ دستورالعمل‌ها و داده‌ها، محاسبات و ارتباطات حافظه هم‌پوشانی پیدا کردن؛ طوری که بخشی از عملیات بعدی حتی قبل از تموم شدن عملیات قبلی اجرا می‌شه تا تأخیر به کمترین حد برسه.

منبع

Pranjal@pranjalssh

Megakernel blog is out now We implement a full layer (MoE + Attention) megakernel, achieving 1100 toks/s for Muse Spark, 2.1x faster than baseline. Nvidia's Instruction cache makes it really hard to write bigger kernels. We ended up tuning both instruction and data caches at all levels for extreme latency hiding! With this, some warps of next operation can start running before previous operation has finished - redefining what GPU utilization means. Full blog post: https://www.lmsys.org/blog/2026-11-05-muse-spark-open-ultrafast

LMSYS Org @lmsysorg

Muse Spark Open: 517 → 1,109 tokens/s on 8× GB300 with SGLang megakernels. One kernel launch per layer, overlapping compute, memory loads and communication. Total launches per decode step drop from 1,450 to 97. https://www.lmsys.org/blog/2026-11-05-muse-spark-open-ultrafast In our new technical post, Pranjal Shankhdhar explains what makes this work: - Prefetching weights into shared memory and L2 before they’re needed. - Warming the instruction cache so large kernels don’t stall fetching their own code. - Using data itself as a readiness signal for cross-GPU communication. - Fusing the draft model to make drafting 2.6× faster. The post also includes measured timelines, CUDA/PTX examples, and the tradeoffs behind stopping at one megakernel per layer.

۲۰ آبان ۱۴۰۵مشاهده در X

lmsys.org

Muse Spark Open Ultrafast: Pushing beyond 1,000 Tokens per second

In this post, we explain why SGLang (and ML infra in general) is moving towards larger GPU kernels, called megakernels, and what makes one different from a normal kernel. We built one for Muse Spark Open, from scratch in CUDA C++ and PTX, and it takes decoding 517 → 1,109 tok/s on Blackwell GPUs.

خواندن در سایت منبع