بچه‌های انویدیا یه مقاله تازه دادن بیرون که اگه اهل کار کشیدن از ایجنت‌های هوش مصنوعی هستی، بدجوری به دردت می‌خوره

بچه‌های انویدیا یه مقاله تازه دادن بیرون که اگه اهل کار کشیدن از ایجنت‌های هوش مصنوعی هستی، بدجوری به دردت می‌خوره. قضیه اینه که فهمیدن اصلاً نیازی نیست کل تاریخچه طولانی چت رو رو سر مدل خراب کنی؛ اگه هی جمع‌وجورش کنی و فقط یه خلاصه تمیز از وضعیت بهش بدی، دقتش ذره‌ای نمی‌ریزه و مدل گردن‌کلفتی مثل کلود اوپوس ۴.۵ با همین ترفند پیک بافتش از ۳۲ هزار توکن اومده رو ۸ هزار و نمره‌ش هم توی بنچمارک SWE-bench حتی از ۷۰ رسیده به نزدیک ۷۵! تازه تولید توکن‌های آخر چت تا هفت برابر گرون‌تر تموم میشه و این سبک فشرده‌سازی توی تست‌های مختلف مثل Terminal-Bench هم حسابی امتحانش رو پس داده. خلاصه کلام اینکه قبل خالی کردن جیبت برای ران‌های میلیونی، عقل حکم می‌کنه دست به دامن همین خلاصه‌سازی مرتب بشی.

منبع

elvis@omarsar0

Highly recommended paper from NVIDIA. (bookmark it) There is a lot of debate about whether to use context compaction aggressively. They show that with frequent compaction, frontier language models lose little to no accuracy on a broad range of long-horizon and long-input tasks while keeping their context short. With one action per context, Claude Opus 4.5 scores 70.2 on SWE-bench Verified against 70.0 with the full history. Median peak context drops from 32K to 8K tokens. The agent carries a short summary of its state between steps instead of the whole transcript. Simple compaction at the end of a conversation often does better than the full history, and Opus goes from 70.0 to 74.8 with it. This also matters for cost. Later tokens cost more to generate than earlier ones, up to 7x on frontier open-weight models. The pattern holds on Terminal-Bench, FRAMES, BFCLv3 and multilingual SWE-bench, with modest losses in some settings. Before paying for million-token agent runs, it's worth testing aggressive compaction on your own tasks. https://arxiv.org/abs/2611.05306 Chat with Paper: https://academy.dair.ai/papers/you-dont-need-long-context-2611.05306

۱۳ آبان ۱۴۰۵مشاهده در X

arXiv.org

You don't need long context

Later tokens are costlier to generate than earlier tokens. On frontier open weight models, the disparity in cost may rise to as much as 7x. Through frequent compaction, we show across a broad range of long-horizon and long-input tasks that frontier language models sacrifice little to no task accuracy when maintaining short contexts. We further demonstrate that LLM performance does not collapse on

خواندن در سایت منبع