گوگل
@rohanpaul_ai
بچههای دیپمایند گوگل یه مقاله دادن بیرون و رفتن سراغ یه روش باحال

بچههای دیپمایند گوگل یه مقاله دادن بیرون و رفتن سراغ یه روش باحال؛ فرض کن کلی مدل هوش مصنوعی داری ولی نمیدونی واسه هر سوال کدومشون کاردرستتره، اومدن بین ۱۱۰ تا مدل سر بیشتر از ۳۰ هزار تا پرامپت یه جور مزایده راه انداختن تا هر مدلی که مطمئنتره پول بیشتری پیشنهاد بده و جواب رو بنویسه. نتیجه کار پشمریزون بوده و نشون داده خروجی این مزایده تا ۹۹.۲ درصد به اندازه حالتی که همیشه بهترین مدل ممکن رو دستچین کنی دقیق و باکیفیته، در حالی که روشهای معمولی مسیریابی فقط حدود ۸۹.۴ درصد جواب میدادن. حتی توی سختترین و بدقلقترین سوالها هم این سیستم مزایدهای ۹۶ درصد بازدهی داشته، در صورتی که تکیه کردن به یه مدل خاص بازدهی رو تا ۶ درصد زمین زده.
منبع
Rohan Paul@rohanpaul_ai
New Google DeepMind paper shows that if AI models offer money to answer each question and the highest offer answers, results are 99.2% as good as always picking the best model.
i.e. say you don't know in advance which model is best for each new question. So who should answer?
The paper’s answer: let each model offer money for the job. The model that knows it is good at this question offers more. Highest offer gets to answer.
They proved the loss shrinks when several agents usually value a prompt highly, as when distilled models perform close to the best. They simulated auctions among 110 models on over 30,000 EmbedLLM prompts.
With all 110 models bidding, the auction reached 99.2% of the best possible value, versus 89.4% for routing each prompt type to its best model. On each method's worst prompt cluster, the auction held 96.0% while the single best model kept 6.0%.
If you run a model marketplace, a simple pay-your-bid auction works well when every bidding pool has several strong models.
۳۰ مهر ۱۴۰۵مشاهده در X



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.