چین
@jackyk02
@jackyk02جکی کواک یه گزارش جالب داده و نشون داده که مدل بازمتن DeepSeek V4 Flash با یه تکنیک خودارزیابی تونسته غول بسته‌ای مثل Claude Fable 5 رو توی بنچمارک Terminal-Bench 2.1 جا بذاره
جکی کواک یه گزارش جالب داده و نشون داده که مدل بازمتن DeepSeek V4 Flash با یه تکنیک خودارزیابی تونسته غول بسته‌ای مثل Claude Fable 5 رو توی بنچمارک Terminal-Bench 2.1 جا بذاره. ماجرا از این قراره که با فریم‌ورک LLM-as-a-Verifier، مدل فقط ۵ تا راه‌حل مختلف تولید می‌کنه و بعدش خود همون مدل با یه نمره‌دهی دقیق‌تر، خروجی‌های خودش رو رتبه‌بندی و بهترین رو انتخاب می‌کنه. همین حرکت تر و تمیز دقت سیستم رو از ۷۹ درصد به ۸۸ درصد رسونده و ته کار هم ۱۱ برابر نسبت به رقیب بسته‌اش ارزون‌تر تموم شده.
منبع
Jacky Kwok@jackyk02
Scaling self-verification with DeepSeek V4 Flash beats Claude Fable 5 on Terminal-Bench 2.1, while being 11x cheaper 💰
As open-source models become more capable, they can now generate large numbers of high-quality candidate solutions and verify their own outputs at very low cost.
For example, we find that sampling just 5 solutions with DeepSeek V4 Flash and ranking them using the same model with LLM-as-a-Verifier can lead to a significant boost in accuracy (79% → 88%), outperforming closed frontier models on Terminal-Bench.
Try it out today: https://github.com/llm-as-a-verifier/llm-as-a-verifier#self-verification-terminal-bench-21
More on verification scaling in my previous post.
Jacky Kwok @jackyk02
How can we extract richer signals from AI Feedback?
Introducing LLM-as-a-Verifier✨— a simple verification scaling framework that achieves SOTA on agentic benchmarks 🚀
The key idea:
- Use fine-grained scoring granularity (e.g., 1-20 instead of the standard 1-5 scale)
- Take the expectation over the full logprob distribution of score tokens
- Scale repeated evaluation and criteria decomposition
You can use these fine-grained signals for more effective test-time scaling, RL, and agent monitoring! It achieves SOTA across Terminal-Bench V2, SWE-Bench Verified, RoboRewardBench, and MedAgentBench 👑
Advised by @Azaliamirh @istoica05 @drmapavone @chelseabfinn
🧵👇
۲۶ مرداد ۱۴۰۵مشاهده در X
GitHub
GitHub - llm-as-a-verifier/llm-as-a-verifier: LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback for any agent without requiring additional training. It achieves SOTA performance across coding, robotics, and medical agentic benchmarks.
LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback for any agent without requiring additional training. It achieves SOTA performance across coding, robotics, and m...
خواندن در سایت منبعبیشتر بخوانید
بچه‌های حوزه هوش مصنوعی اومدن مدل متن‌باز Qwen 3.8 27B رو انداختن به جون غول مرحله آخر یعنی Claude Opus 4.6 تا عیارشون رو توی کدنویسی سه‌بعدی بسنجن
غول رسانه‌ای و اطلاعاتی تامسون رویترز تصمیم گرفته دستش رو از زیر ساطور مدل کلود بکشه بیرون و واسه خودش یه پا اوستا بشه
یه بنده خدایی به اسم ژیائوین یه تسکِ کاملاً یکسان رو داده دست ابزارهای برنامه‌نویسیِ کلود کد و دیپ‌سیک، که تهش اولی ۱۵۰ دلار خرج رو دستش گذاشته و دومی با ۲ دلار کارو جمع کرده
انگار بروبچه‌های دیپ‌سیک دوباره می‌خوان دنیای هوش مصنوعی رو زیر و رو کنن و طبق آخرین لو رفتن‌ها، قراره مدل غول‌پیکر DeepSeek V5 اوایل ماه سپتامبر بیاد تو میدون
نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.