发现一件非常bug的事:Token越便宜,GPU越贵。
就所有人都觉得技术进步=成本下降=GPU不值钱,
但如今结果刚好反过来,
虽然Token单价暴跌,
但总量暴涨,老芯片反而更值钱了。
H100租金一个季度从1.70涨到2.35,涨了40%。
老款A100,2020年的芯片,快六年了,
按常理老芯片应该跟旧手机一样越来越不值钱。
结果现在价格也在涨。
主要是以前chatbot这种调一次模型就完事,
现在Agent干一个活要调10到20次,
消耗量翻了5到30倍。
导致AI Agent一个季度吃掉的token,比去年一整年都多。
推理单价两年降了280倍,账单反而涨了320%。
Token便宜了,Token的消耗反而疯了。
利好英伟达。利好台积电。利好AI基建们。
https://x.com/i/status/2040678824011026785