Geoffrey Hinton 谈 LLMs与人类大脑：
人类大脑在处理信息时，会通过神经元之间的突触传递信号。类似地，LLMs 通过模拟神经元的活动来处理和生成文本。
人类有很多激活的神经元，它们与另一层神经元通过突触连接，获取每个神经元的活动，将它们乘以连接上的权重（突触强度），并将所有输入加总到一个神经元，作为下一层的输入。这被称为向量矩阵乘法。
可以这样理解，神经活动是电压，权重是电导，用电压乘以电导，它会产生每单位类型的电荷。电压（神经活动）通过电导（突触强度），另一端出来的是电荷，这些电荷再通过突触传递给其他神经元。这些电荷随着时间的推移而累积，类似于神经元间的信号累积。这种累积的电荷（神经信号）在神经元中产生响应，就像在电路中电荷的累积会导致电流的增加。
在数字计算（LLMs）中，会用很多晶体管来代表每个神经活动，以及每个权重。以非常高的功率驱动晶体管，它们是二进制的，如果想快速完成乘法，那么需要执行大约32平方数量级的一位运算来快速完成乘法。
大脑的运行功率大约是30瓦，说明大脑在进行复杂计算时的能效非常高，相比之下，现代的数字计算机（LLMs）在进行类似计算时可能需要兆瓦级别的功率。
人类大脑大约有一百万亿个突触。这是一个非常巨大的数字，它们的数量决定了大脑处理信息的复杂性和能力。对于LLMs，GPT-4可能大约有2万亿个突触或权重。虽然这个数字比人类大脑的突触数量少得多，但GPT-4能够处理和理解的信息量却非常庞大，这得益于它的训练方式和能够访问的大量数据。
LLMs不仅仅是在进行简单的文本拼接，而是在进行复杂的统计和模式识别。尽管LLMs通过预测下一个词来工作，但它们使用的方法是完全不同于传统统计方法的，这些方法能够捕捉到语言的深层结构。LLMs实际上并不存储文本，而是存储与每个词相关的一组实数（嵌入向量），这些向量捕捉了词的意义和语法。当LLMs生成文本时，它们是基于这些嵌入向量进行交互，而不是简单地重复记忆。
LLMs的这种“幻觉”实际上是它们试图模仿人类记忆和语言生成过程的结果。这种现象实际上与人类记忆的工作方式相似，人类记忆也会基于权重和记忆线索重建事件，这可能导致细节上的不准确。
LLMs能够产生新的想法，因为它们能够从大量数据中学习并发现模式。LLMs能够解决需要推理的问题，这表明它们不仅仅是在重复已知的信息，而是能够进行一定程度的创造性思考。
人类大脑在处理信息时，会通过神经元之间的突触传递信号。类似地，LLMs 通过模拟神经元的活动来处理和生成文本。
人类有很多激活的神经元，它们与另一层神经元通过突触连接，获取每个神经元的活动，将它们乘以连接上的权重（突触强度），并将所有输入加总到一个神经元，作为下一层的输入。这被称为向量矩阵乘法。
可以这样理解，神经活动是电压，权重是电导，用电压乘以电导，它会产生每单位类型的电荷。电压（神经活动）通过电导（突触强度），另一端出来的是电荷，这些电荷再通过突触传递给其他神经元。这些电荷随着时间的推移而累积，类似于神经元间的信号累积。这种累积的电荷（神经信号）在神经元中产生响应，就像在电路中电荷的累积会导致电流的增加。
在数字计算（LLMs）中，会用很多晶体管来代表每个神经活动，以及每个权重。以非常高的功率驱动晶体管，它们是二进制的，如果想快速完成乘法，那么需要执行大约32平方数量级的一位运算来快速完成乘法。
大脑的运行功率大约是30瓦，说明大脑在进行复杂计算时的能效非常高，相比之下，现代的数字计算机（LLMs）在进行类似计算时可能需要兆瓦级别的功率。
人类大脑大约有一百万亿个突触。这是一个非常巨大的数字，它们的数量决定了大脑处理信息的复杂性和能力。对于LLMs，GPT-4可能大约有2万亿个突触或权重。虽然这个数字比人类大脑的突触数量少得多，但GPT-4能够处理和理解的信息量却非常庞大，这得益于它的训练方式和能够访问的大量数据。
LLMs不仅仅是在进行简单的文本拼接，而是在进行复杂的统计和模式识别。尽管LLMs通过预测下一个词来工作，但它们使用的方法是完全不同于传统统计方法的，这些方法能够捕捉到语言的深层结构。LLMs实际上并不存储文本，而是存储与每个词相关的一组实数（嵌入向量），这些向量捕捉了词的意义和语法。当LLMs生成文本时，它们是基于这些嵌入向量进行交互，而不是简单地重复记忆。
LLMs的这种“幻觉”实际上是它们试图模仿人类记忆和语言生成过程的结果。这种现象实际上与人类记忆的工作方式相似，人类记忆也会基于权重和记忆线索重建事件，这可能导致细节上的不准确。
LLMs能够产生新的想法，因为它们能够从大量数据中学习并发现模式。LLMs能够解决需要推理的问题，这表明它们不仅仅是在重复已知的信息，而是能够进行一定程度的创造性思考。
星辰观察站
Geoffrey Hinton 谈 LLMs与人类大脑： 人类大脑在处理信息时，会通过神经元之间的突触传递信号。类似地，LLMs 通过模拟神经元的活动来处理和生成文本。 人类有很多激活的神经元，它们与另一层神经元通过突触连接，获取每个神经元的活动，将它们乘以连接上的权重（突触强度），并将所有输入加总到一个神经元，作为下一层的输入。这被称为向量矩阵乘法。 可以这样理解，神经活动是电压，权重是电导，用电压乘以电导，它会产生每单位类型的电荷。电压（神经活动）通过电导（突触强度），另一端出来的是电荷，这些电…
LLMs 通过学习大量文本数据来理解语言。这个过程类似于数据压缩，即将大量信息编码到相对较少的权重（或嵌入向量）中。在这个过程中，模型会学习到文本中的模式和结构，但这种压缩可能会导致一些细节的丢失，从而在生成回答时出现事实性错误。特别是在处理复杂或罕见的情境时，模型可能会基于它所学到的模式生成不准确或不相关的答案。如果模型在训练过程中接触到了不准确或有误导性的数据，它可能会在生成回答时复制这些错误。这并不意味着模型不理解语言，而是它在尝试模仿训练数据中的模式，即使这些模式可能包含错误。LLMs 在生成文本时，有时会进行创造性的推断，这可能导致它们“发明”新的信息或情境。这种创造性生成可能会与现实世界的事实不符，从而产生错误。尽管LLMs 在理解上下文方面取得了显著进步，但它们仍然可能在某些情况下无法完全理解复杂或微妙的上下文，导致生成的答案与事实不符。
LLMs 通过权重共享来学习，这意味着不同的模型副本可以运行在不同的硬件上，如不同的GPU，同时查看不同的数据。每个副本都会根据所看到的数据调整其权重，然后这些权重的变化会被汇总，从而允许所有副本从彼此的学习中受益。这种权重共享的过程大大提高了知识共享的效率。通过共享梯度（即权重变化的信息），LLMs 可以非常有效地传递知识。这种方法允许模型在查看不同数据集时学习到新的知识，并通过共享这些知识来改进整体模型的性能。由于LLMs 可以从大量多样化的数据中学习，它们能够获得比任何单个人类更多的知识。这种数据多样性使得LLMs 能够更好地理解和处理各种情境和问题。
知识蒸馏的概念，即一个模型（如GPT-4）通过观察和模仿其他模型（可能是其自身的副本）来学习。这种过程允许新模型从现有模型中“蒸馏”出知识，而不需要从头开始学习。LLMs 通过权重共享和梯度共享的方式，可以在极短的时间内共享大量的知识，这比人类通过语言描述来传递知识要高效得多。GPT-4 可以通过观察不同的数据片段来学习，并通过权重共享来整合这些知识。这种方法使得GPT-4 能够比任何人类个体拥有更多的知识，尽管它的连接数（突触）比人类大脑少得多。
LLMs 通过权重共享来学习，这意味着不同的模型副本可以运行在不同的硬件上，如不同的GPU，同时查看不同的数据。每个副本都会根据所看到的数据调整其权重，然后这些权重的变化会被汇总，从而允许所有副本从彼此的学习中受益。这种权重共享的过程大大提高了知识共享的效率。通过共享梯度（即权重变化的信息），LLMs 可以非常有效地传递知识。这种方法允许模型在查看不同数据集时学习到新的知识，并通过共享这些知识来改进整体模型的性能。由于LLMs 可以从大量多样化的数据中学习，它们能够获得比任何单个人类更多的知识。这种数据多样性使得LLMs 能够更好地理解和处理各种情境和问题。
知识蒸馏的概念，即一个模型（如GPT-4）通过观察和模仿其他模型（可能是其自身的副本）来学习。这种过程允许新模型从现有模型中“蒸馏”出知识，而不需要从头开始学习。LLMs 通过权重共享和梯度共享的方式，可以在极短的时间内共享大量的知识，这比人类通过语言描述来传递知识要高效得多。GPT-4 可以通过观察不同的数据片段来学习，并通过权重共享来整合这些知识。这种方法使得GPT-4 能够比任何人类个体拥有更多的知识，尽管它的连接数（突触）比人类大脑少得多。
👍1
成功日记day394
今天任务完成得比想象的快，所以摸了一会儿鱼，体验了一下新出的meshy，毕竟是Ai相关的，结果他只能refine一步就很尴尬。希望后续能够持续优化！
感情出现了一些emo情绪，说好的“认真些”变成了“我心思不在那”，他都知道我不高兴的点，没哄我，直到最后我转头走，我在地铁里哭，外耗他，他一点都没感受到难过。是我自作多情了。感情要给懂得珍惜的人不是吗？我突然觉得我好绝情，想清楚没结果之后就可以果断放弃。
他总说我是打工人思维，但是其实他自己才是。很多事情，陷入其中的时候只是不想相信真相而已。回归正轨，我还是那个见一个爱一个的纯爱战士。
今天任务完成得比想象的快，所以摸了一会儿鱼，体验了一下新出的meshy，毕竟是Ai相关的，结果他只能refine一步就很尴尬。希望后续能够持续优化！
感情出现了一些emo情绪，说好的“认真些”变成了“我心思不在那”，他都知道我不高兴的点，没哄我，直到最后我转头走，我在地铁里哭，外耗他，他一点都没感受到难过。是我自作多情了。感情要给懂得珍惜的人不是吗？我突然觉得我好绝情，想清楚没结果之后就可以果断放弃。
他总说我是打工人思维，但是其实他自己才是。很多事情，陷入其中的时候只是不想相信真相而已。回归正轨，我还是那个见一个爱一个的纯爱战士。
在中文性教育领域，纸质内容可能比在线的更为丰富。考虑到这点，我们汇总了一些书籍方面的资料，发布在中文性教育资源网资料类目和 NeoDB 收藏单，供读者朋友们查阅做参考。
由于豆瓣限制了中国大陆以外地区的用户注册，因此我们暂时无法在豆瓣创建书单。
NeoDB 收藏单：https://neodb.social/users/KnowSex
中文性教育资源网•资料类：https://res.knowsex.org/document
由于豆瓣限制了中国大陆以外地区的用户注册，因此我们暂时无法在豆瓣创建书单。
NeoDB 收藏单：https://neodb.social/users/KnowSex
中文性教育资源网•资料类：https://res.knowsex.org/document