یه برنامه‌نویس کاردرست به اسم هرشا گوندالا اومده مدل Qwen-2.5-1B-RLCD رو متن‌باز کرده که خوراک استنتاج مستقیم خروجی‌های تایپ‌سیف و ساختاریافته JSON روی خود دستگاست

یه برنامه‌نویس کاردرست به اسم هرشا گوندالا اومده مدل Qwen-2.5-1B-RLCD رو متن‌باز کرده که خوراک استنتاج مستقیم خروجی‌های تایپ‌سیف و ساختاریافته JSON روی خود دستگاست. ماجرا از این قراره که این بنده خدا یه تیکه شیرین به پروژه‌های پرادعای دو ساله انداخته و گفته این دستاورد رو تو دو ساعت جمع کرده، تازه دمو روی مک‌بوک M4 هم نشون میده که سرعت کار نسبت به قبل ۵ برابر شده. نکته باحال ماجرا اینه که اصلاً نیازی به تمرین یا ترین مجدد مدل نبوده و سیستم می‌تونه همه کلیدهای فایل JSON رو به‌صورت هم‌زمان و با راندمان بالا پردازش کنه.

منبع

Harsha Gundala@harshagundal

They were building in stealth for 2 years, I was building in stealth for 2 hours… Happy to open source Qwen-2.5-1B-RLCD, 5x faster on-device inference for JSON workloads that need to be type-safe. ⚡️Demo below on a M4 MacBook⚡️ every LLM has the ability to efficiently batch inference every key of a JSON at the same time and generate probabilities from a set of possible categories. No new training required, but it’s easy to optimize if you need! On hugging face now!

Diogo Almeida @CompleteSkeptic

After co-inventing ChatGPT, I kept asking myself: why have superhuman chat models not led to AGI? I’ve spent the last 2 years in stealth building a new way to train models (RLCD), and a new type of frontier AI model that we are releasing today: Jev • 20-200x faster • 40-400x cheaper (w/ output tokens free) • Frontier composable intelligence optimized for decisions AFAICT the shortest path to AI-based economic revolution

۲۵ شهریور ۱۴۰۵مشاهده در X

یه برنامه‌نویس کاردرست به اسم هرشا گوندالا اومده مدل Qwen-2.5-1B-RLCD رو متن‌باز کرده که خوراک استنتاج مستقیم خروجی‌های تایپ‌سیف و ساختاریافته JSON روی خود دستگاست

منبع

نظرها

بیشتر بخوانید

تنظیمات

ظاهر و متن

خواندن و نمایش

استوری‌ها

صدا

اعلان‌ها و موضوع‌ها

صدای فارسی

راه‌های دیگر

ویدیوی خبر

گفتگو