
قدیما واسه ران کردن این مدلهای گردنکلفت هوش مصنوعی باید سرور خفن اجاره میکردی، اما حالا طرف نشون داده با یه کارت گرافیک RTX 3090، ۱۶ گیگ رم DDR4 و یه اساسدی NVMe هم میشه مدل خفن glm-5.3-flash رو بالا آورد
قضیه با کوانتایز exl3-3bpw جمع شده و دمش گرم که قابلیت پردازش تصویر و پنجره زمینه ۱۲۸ هزار توکنی هم کاملاً فعاله و کار میکنه. از نظر سرعت هم موقع لود اولیه تا مرز ۹۵۰ توکن بر ثانیه میره و موقع جواب دادن هم ۱۱ تا ۱۷…




