审美提升 —— 时尚不以时间为转移

Cr: The Devil Wears Prada

Geoffrey Hinton 谈 LLMs与人类大脑：

人类大脑在处理信息时，会通过神经元之间的突触传递信号。类似地，LLMs 通过模拟神经元的活动来处理和生成文本。

人类有很多激活的神经元，它们与另一层神经元通过突触连接，获取每个神经元的活动，将它们乘以连接上的权重（突触强度），并将所有输入加总到一个神经元，作为下一层的输入。这被称为向量矩阵乘法。

可以这样理解，神经活动是电压，权重是电导，用电压乘以电导，它会产生每单位类型的电荷。电压（神经活动）通过电导（突触强度），另一端出来的是电荷，这些电荷再通过突触传递给其他神经元。这些电荷随着时间的推移而累积，类似于神经元间的信号累积。这种累积的电荷（神经信号）在神经元中产生响应，就像在电路中电荷的累积会导致电流的增加。

在数字计算（LLMs）中，会用很多晶体管来代表每个神经活动，以及每个权重。以非常高的功率驱动晶体管，它们是二进制的，如果想快速完成乘法，那么需要执行大约32平方数量级的一位运算来快速完成乘法。

大脑的运行功率大约是30瓦，说明大脑在进行复杂计算时的能效非常高，相比之下，现代的数字计算机（LLMs）在进行类似计算时可能需要兆瓦级别的功率。

人类大脑大约有一百万亿个突触。这是一个非常巨大的数字，它们的数量决定了大脑处理信息的复杂性和能力。对于LLMs，GPT-4可能大约有2万亿个突触或权重。虽然这个数字比人类大脑的突触数量少得多，但GPT-4能够处理和理解的信息量却非常庞大，这得益于它的训练方式和能够访问的大量数据。

LLMs不仅仅是在进行简单的文本拼接，而是在进行复杂的统计和模式识别。尽管LLMs通过预测下一个词来工作，但它们使用的方法是完全不同于传统统计方法的，这些方法能够捕捉到语言的深层结构。LLMs实际上并不存储文本，而是存储与每个词相关的一组实数（嵌入向量），这些向量捕捉了词的意义和语法。当LLMs生成文本时，它们是基于这些嵌入向量进行交互，而不是简单地重复记忆。

LLMs的这种“幻觉”实际上是它们试图模仿人类记忆和语言生成过程的结果。这种现象实际上与人类记忆的工作方式相似，人类记忆也会基于权重和记忆线索重建事件，这可能导致细节上的不准确。

LLMs能够产生新的想法，因为它们能够从大量数据中学习并发现模式。LLMs能够解决需要推理的问题，这表明它们不仅仅是在重复已知的信息，而是能够进行一定程度的创造性思考。