اشتغال
@rohanpaul_ai
@rohanpaul_aiشرکت ScaleDown اومده یه کار درست کرده و سه تا مدل تر و تمیز برای کارای روتین مثل دسته‌بندی، خلاصه‌سازی و کشیدن اطلاعات از دل متن داده بیرون
شرکت ScaleDown اومده یه کار درست کرده و سه تا مدل تر و تمیز برای کارای روتین مثل دسته‌بندی، خلاصه‌سازی و کشیدن اطلاعات از دل متن داده بیرون. این مدل‌های جدید پنجره حافظه یک میلیون توکنی دارن و عکس رو هم پردازش می‌کنن، منتها کلک کار اینه که دیگه مثل مدل‌های پرخرج کلمه به کلمه انشا نمی‌نویسن، بلکه مستقیم جواب نهایی رو از خود متن سوا می‌کنن. حاصل این فرمول شده مدلی که ۲۰۰ برابر سریع‌تر و ۴۶۷ برابر ارزون‌تر از غول‌های بازار کار می‌کنه؛ یعنی هر میلیون توکن ورودی فقط پنج سنت خرج برمی‌داره و خروجیش هم کلاً رایگان پای شما درمیاد.
منبع
Rohan Paul@rohanpaul_ai
Pulling a due date out of a 300-page PDF shouldn’t need a model that writes.
Decision models now get a 1M-token window, and they take images too.
ScaleDown released 3 small models (Classify, Extract, Summarize) for the simple, repetitive jobs that agents usually hand to an expensive LLM.
200x faster and 467x cheaper than frontier LLM APIs. $0.05 per million input tokens, and output is free.
The bigger change is that the same design now covers classify, extract and summarize.
The difference with regular LLMs is that these models don’t write their answer token by token. They read up to 1M tokens of text and images once and pick the answer straight from the input, so output is free, results stay inside your labels or source text
ScaleDown’s Constrained Decoding Models make one prefill pass over your input and select the answer from it: a label, a span with its source offset, or the passages that belong in a summary.
https://x.com/neal_k_patel/status/2109978626124898587/video/1
Neal Patel @neal_k_patel
You already gave the LLM the answer. So why is it writing it out from scratch?
Introducing a new AI model architecture: Constrained Decoding Models (CDMs)
LLMs were built to write. Most production workloads just need an answer: fast, consistent, and affordable.
CDMs are purpose-built for 1 task each. They read your input once and skip the token-by-token generative loop that makes LLMs slow and expensive.
Not just a decision model, but a family of 3 CDMs live today:
• Classify: define your labels and get back a calibrated probability + reason for each. Used for routing, tagging, and intent detection.
• Extract: describe the entities in natural language and get back well-formed JSON with confidence scores + citations. Used for web scraping, document processing, and PII redaction.
• Summarize: pass in long text, images, or PDFs and get back a consistent summary under 1,000 tokens. Used for context compaction, metadata generation, and transcript digests.
Built for production:
• 1M tokens of multimodal (text + image) input, 31x larger than Jev
• 77.2% on DecisionBench vs Jev's 72%
• 200x faster, 467x cheaper than frontier LLM APIs
• $0.05/M input tokens. Output is free (yes, even for summarize)
Live on your favorite platforms today:
@OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus
Get 50M input tokens for free (for the first 50 hours) at link below 👀
۲۱ مهر ۱۴۰۵مشاهده در X
بیشتر بخوانید
فدریکو سیمیناتو خبر داده که ایرتیبل (Airtable) زده تو کار تعدیل نیرو و بخش بزرگی از بچه‌های تیمش رو فرستاده خونه، منتها ادعاشون اینه که کم‌کاری از کارمندها نبوده و با این فرمون که «تیم‌های کوچیک‌تر فرزترن و خروجی بهتری دارن» پیش رفتن
شرکت سرمایه‌گذاری a16z یه آمار حسابی چشم‌گیر منتشر کرده و می‌گه شغل‌های مرکز تماس یا همون کال‌سنتر که ۱۵ سال آزگار سالی حدود ۴ درصد رشد می‌کردن، حالا یهو فرمون چرخیده و سالی ۴ درصد دارن ریزش می‌کنن
یه پلتفرم جدید به اسم Honen راه افتاده که ادعا می‌کنه سریع‌ترین راه برای یادگیری مهارت‌های لازم تو عصر هوش مصنوعیه
قضیه خیلی جدی‌تر از این حرفاست؛ بیش از بیست تا از کله‌گنده‌های هوش مصنوعی مثل جفری هینتون و یوشوا بنجیو یه مقاله سیاستی بیرون دادن و از دولتا خواستن سریع آمار بگیرن که چقدر از خودِ تحقیقات هوش مصنوعی داره توسط همین مدل‌ها انجام می‌شه
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.