AI会永远对你撒谎。

这不是bug，是数学定律。

我，卡内基梅隆大学的数学学生，用数学告诉你为什么。

所有语言模型，只做一件事：
根据它读过的所有资料，预测下一个最有可能的词。

但这里有个死结。
模型的猜测，我们叫它q(x)。
真实世界的概率，我们叫它p(x)。

q(x)永远不可能等于p(x)。

它们之间，永远有一道鸿沟。
有个数学公式，就是用来测量这道鸿沟的。
只要模型不能完美预测下一个词 它永远不能 那这个鸿沟就永远不会是零。

所以，当AI不知道真相的时候会发生什么？
它不能停机，它必须给你一个答案。

它只能硬着头皮，输出一个它认为“最像”答案的答案。
哪怕那是错的。

这就是“幻觉”。
一个基于不完整信息，却无比自信的猜测。

最要命的是，数学甚至给出了一个下限。
就算最完美的模型，它的幻觉率也永远不可能低于这个数字。

只要它不知道关于这个世界的一切 它永远不可能知道。
它就总会有概率，编造事实。

所以，无论AI变得多强大，它都会撒谎。

因为数学就是这么写的。
https://x.com/i/status/2007002858596565090