تراشه
@allen_ai
@allen_aiبچه‌های موسسه هوش مصنوعی Ai2 دست‌به‌کار شدن و جزییات مهندسی سیستم جدید زمان‌بندی GPUهاشون رو رو کردن که نشون میده چطور منابع پردازشی رو عادلانه و تر و تمیز بین تیم‌ها تقسیم می‌کنن
بچه‌های موسسه هوش مصنوعی Ai2 دست‌به‌کار شدن و جزییات مهندسی سیستم جدید زمان‌بندی GPUهاشون رو رو کردن که نشون میده چطور منابع پردازشی رو عادلانه و تر و تمیز بین تیم‌ها تقسیم می‌کنن. قضیه از این قراره که روی بزرگ‌ترین کلاستر تراشه‌های غول‌پیکر H100، میانگین زمان معطلی توی صف پردازش رو از ۵ دقیقه رسوندن به چشم‌به‌هم‌زدن ۲۴ ثانیه! با این حساب، پژوهشگراشون دیگه پشت چراغ قرمز صف پردازش لنگ نمی‌مونن و کار تست و توسعه مدل‌هاشون برق‌آسا جلو می‌ره.
منبع
Ai2@allen_ai
We’re sharing the engineering work behind Ai2’s GPU scheduler—our new approach to allocating compute across research teams.
On our largest H100 cluster, median queue wait fell from 5 minutes to 24 seconds. 🧵
https://allenai.org/blog/impactful-scheduling
۱۷ مهر ۱۴۰۵مشاهده در X
allenai.org
Impactful scheduling for GPU clusters | Ai2
We explain how Ai2’s new GPU scheduler uses time budgets, fair-share allocation, and time-slicing to prioritize high-impact research, shorten queue waits, and keep GPUs busy.
خواندن در سایت منبعبیشتر بخوانید
بشنو از پَت گلسینگر، مدیرعامل سابق اینتل، که تعریف کرده چطوری از ۱۸ سالگی پاش به اینتل باز شد و همون اول توی مصاحبه بهش گفتن «زرنگ، پررو و جسوری، خوراکِ کار خودمونی!» این کهنه‌کار سیلیکون‌ولی هم‌زمان…
قدیما واسه ران کردن این مدل‌های گردن‌کلفت هوش مصنوعی باید سرور خفن اجاره می‌کردی، اما حالا طرف نشون داده با یه کارت گرافیک RTX 3090، ۱۶ گیگ رم DDR4 و یه اس‌اس‌دی NVMe هم می‌شه مدل خفن glm-5.3-flash رو بالا آورد
گزارش وال‌استریت ژورنال نشون میده که سرِ چیپ و منابع پردازشی هوش مصنوعی، بین غول‌های سیلیکون‌ولی چه بگو‌مگو و قحطی سفت‌وسختی راه افتاده
ساتیا نادلا مدیر مایکروسافت اومده رو دست همه زده و بزرگ‌ترین قمار تاریخ شرکتش رو روی چیپ‌های اختصاصی خودشون رو کرده
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.