قدیما واسه ران کردن این مدل‌های گردن‌کلفت هوش مصنوعی باید سرور خفن اجاره می‌کردی، اما حالا طرف نشون داده با یه کارت گرافیک RTX 3090، ۱۶ گیگ رم DDR4 و یه اس‌اس‌دی NVMe هم می‌شه مدل خفن glm-5.3-flash رو بالا آورد

قدیما واسه ران کردن این مدل‌های گردن‌کلفت هوش مصنوعی باید سرور خفن اجاره می‌کردی، اما حالا طرف نشون داده با یه کارت گرافیک RTX 3090، ۱۶ گیگ رم DDR4 و یه اس‌اس‌دی NVMe هم می‌شه مدل خفن glm-5.3-flash رو بالا آورد. قضیه با کوانتایز exl3-3bpw جمع شده و دمش گرم که قابلیت پردازش تصویر و پنجره زمینه ۱۲۸ هزار توکنی هم کاملاً فعاله و کار می‌کنه. از نظر سرعت هم موقع لود اولیه تا مرز ۹۵۰ توکن بر ثانیه می‌ره و موقع جواب دادن هم ۱۱ تا ۱۷ توکن خروجی میده که برای یه سیستم معمولی خونگی الحق دست‌مریزاد داره.