آنتروپیک
@thsottiaux
این دوستمون دست گذاشته رو یه نکتهی خیلی ریز و به شدت فنی درباره قیمت مدلهای هوش مصنوعی

این دوستمون دست گذاشته رو یه نکتهی خیلی ریز و به شدت فنی درباره قیمت مدلهای هوش مصنوعی. خلاصهی ماجرا اینه که مقایسه قیمت هوش مصنوعی بر اساس «هر میلیون توکن» بدجوری گولزنندهست، چون خرد کردن کلمات توی هر مدلی فرق داره و توکنها مثل گرم یا کیلووات استاندارد نیستن، درست مثل پیتزایی که یکی هشت قاچش میکنه و یکی شونزده قاچ! مثلاً واسه یه متن یکسان، مدل GPT-5.6 حدود ۷۶۶ تا توکن سوزونده ولی کلود اوپوس ۵ نزدیک ۱۱۷۰ تا توکن مصرف کرده، یعنی حدود ۳۴.۵ درصد مصرف بیشتر برای همون نتیجه. ته داستان اینه که قیمت پایینترِ هر توکن لزوماً به معنی قبض کمتر نیست و باید ببینی هزینه تمومشده برای رسیدن به خروجی نهایی و درست چقدر برات آب میخوره.
منبع
Tibo@thsottiaux
On tokens and prices per token.
I said I’d write more about this, so here goes: an OpenAI token != another model’s token. We compare AI prices in dollars per million tokens as if a token were a standardized unit, like a gram or a kilowatt-hour. It isn’t. Different models use and produce the exact same text using different numbers of tokens, which means a lower price per token does not necessarily mean a lower bill.
Imagine two identical pizzas. One is cut into 8 slices at $2 each. The other is cut into 16 slices at $1.25 each. The second place advertises cheaper slices, but the whole pizza costs $20 instead of $16. Bummer ... your stomach doesn't actually care about the number of slices you just ate.
I know you are hungry now, but back to tokens. In one small comparison spanning English, technical, multilingual, and numerical text, the tokenizer we use for GPT-5.6 Sol used 766 tokens versus an estimated 1,170 for Claude Opus 5. That's a very significant difference of about 34.5% fewer tokens. You can get the same exact text, but pay for all those extra tokens. The price per token doesn't really tell this story.
Even correcting for tokenizer differences misses the bigger point. What actually matters is price per successful outcome, and for that you can use benchmarks as a starting point, but really you have to try it and measure on your own use cases.
That's all. May the tokens flow.
۲۵ مرداد ۱۴۰۵مشاهده در X



نظرها
هنوز نظری نیست.
بخش نظرها فعلاً در دسترس نیست.