Nvidia声称其GPU领先TPU一代，然而在Google内部的优化中，GPU却远远落后于TPU，体现在单位芯片的flops, 单位电能的flops, 乃至单位体积的flops 都只有TPU的40%-60%，更别说单位价格的优势。

所以Nvidia的主要优势其实是软件生态的优势，而不完全是硬件优势。更有趣的事由于Training涉及到更多矩阵乘法，GPU比TPU做得更好的任务其实是inference。

所以这么说GPU还是比TPU领先一代吗？
https://x.com/Balder13946731/status/1993410550798381380?s=35