یه کاربر به اسم zakariaornot اومده یه بنچمارکِ پردازش هوش مصنوعی روی چهار تا تراشه‌ی B300 رو بررسی کرده و می‌گه عددِ پرزرق‌وبرقِ ۱۷۴۰ توکن بر ثانیه یکم گمراه‌کننده‌ست

یه کاربر به اسم zakariaornot اومده یه بنچمارکِ پردازش هوش مصنوعی روی چهار تا تراشه‌ی B300 رو بررسی کرده و می‌گه عددِ پرزرق‌وبرقِ ۱۷۴۰ توکن بر ثانیه یکم گمراه‌کننده‌ست. 🔍 البته خودِ پستی که بهش واکنش نشون داده اینجا در دسترس نیست، ولی به گفته‌ی این نویسنده، داستان بیشتر شبیه ماشینیه که فقط توی کفی و با شرایط ایده‌آل اون سرعت رو می‌گیره و توی کار واقعی اوضاع فرق داره:

• به گفته‌ی اون، سرعت ۱۷۴۰ واقعی هست، اما فقط روی یه پرامپتِ خاص با نرخ پذیرش خیلی بالا (۵.۶ توکن در هر مرحله)؛ توی کارهای کدنویسی معمولی با حالتِ thinking روشن به حدود ۱۲۰۰ و توی چت و نوشتن به حدود ۷۵۰ توکن بر ثانیه پایین میاد.

• توی آزمایشِ خودشون روی ۱۲۰ درخواستِ کدنویسی با شرایط برابر (نرخ پذیرش ۳.۵۱) و همون سخت‌افزار، سیستمِ پیشنهادی حدود ۱۰۱۰ توکن بر ثانیه خروجی داده و نسخه‌ی بهینه‌شده‌ی vLLM توسط InferenceX به ۸۴۳ توکن رسیده؛ یعنی فقط ۱.۲ برابر سریع‌تر که توی کانتکست ۷۰۰ هزارتایی به ۱.۱۳ برابر هم می‌رسه.

• نویسنده در نهایت می‌گه دو برابر بودنِ سرعت فقط در مقایسه با نسخه‌ی خامِ vLLM درسته که خیلی از بهترین عملکردهای فعلی فاصله داره.