之前是看到这个模型能“在人类的纠正下”创作出短篇小说的。昨天去考试前还在讨论GPT-3能不能给他段红楼梦的原话，把红楼梦直接补出来一章，感觉这个模型过拟合会很严重，只是由于他模型参数太大了，训练数据量又很多，所以看起来很牛逼的样子。就好像一个人的创新能力很差，但是他看了很多很多书并且记住了相当比例的内容，所以外人听不出来他说的话都是抄袭的。

这又是信息安全的一个坑了hhh，人工智能的信息安全问题。之前看到一个网站 thispersondoesnotexist.com 。是通过GAN生成一个世界上不存在的人脸，那是不是也可以用类似的方法去套出一些人脸相关的隐私信息（刚刚师兄说里面一个人的眼睛很像古力娜扎哈哈哈哈

”SGD 不够高效，一个小批量数据对于全局目标的优化是十分有限的。事实上 ， 对所有网络权重进行一个简单的梯度下降正好显现了我们对神经网络数学本质的无知。比如一些研究显示， 如果需要控制一个RNN网络的功能， 其实真正需要改变的权重数量是很少的。这些研究来自对梯度下降的RNN进行理论研究的团队。虽然整个RNN 的隐层网络的参数等于神经元的数量的平方，但是并不是改变所有这些参数都有意义。

生物大脑的网络连接synapse每时每刻都在进行着微小的随机扰动， 但是我们的日常认知功能却从来都十分稳定，这说明决定一个网络功能的可能不是网络权重大小的具体值。一个被称为low rank pertubation的理论指出， 控制这样一个巨大的神经元数量平方级参量的网络，只需要控制一组和神经元数量成线性的向量即可， 这组向量叠加在整个随机网络之上，就可以让网络表现出各种不同的认知功能（Linking Connectivity, Dynamics, and Computations in Low-Rank Recurrent Neural Networks）

这些工作指出的一种可能性，是我们当下的学习训练方法类似于前牛顿时代的工匠雕砌， 虽然也可以做的出罗马的大斗兽场，却是一种效率低的多的方法 。如果发现了真正的牛顿力学，这一切都是轻而易举的。“

写的真好

今天南京的星星好亮哈哈，在周日整理RSS订阅和发给微信小号文章的信息流已经践行了一个多月了，感觉很爽。在安排下一周工作的时候就有的放矢了，2020的最后十天，一起努力生活！明天冬至了，俺约了室友去喝羊肉汤✌️

时间飞逝 怀念大三的后街烧烤

昨天的羊肉真滴好吃，是冬至的幸福源泉✌️

真离谱

之前看到THU的类脑计算完备性理论发Nature了，没想到学院把一作的老师请来作报告了，太牛了

朋友圈看到的，xswl

正在给组里自建一个overleaf平台，用来写论文和共同编辑，现在还在安装完整的texlive，装完了配一下端口映射应该在内网就能共享了。这是室友组内的一套工具链，nodebb+overleaf，他说还是他老师自己熬夜搭起来的，现在的老师但凡有这个动手能力也不至于评不上教授🤪

我是用官方的guide装的：https://github.com/overleaf/toolkit/blob/master/doc/quick-start-guide.md

晚上在准备写Related work，刚在朋友圈发了个提问的link，有些问题就离谱哈哈哈哈

这也行吗，感觉泡沫和垄断越来越严重了，这些基本上都是找大厂做方案，以后就是AI外包🌝

问题好多hhh，昨天回寝室挨个回复花了一个小时，给人倾诉也是另一种的治愈，把自己的想法厘清楚还是很有趣的历程，等会摸鱼的时候回几个好了

好家伙，终于配好 Overleaf 和内网穿透了，后面组里同学在公网和内网都可以用自建 Overleaf 的LaTeX环境了，还能共享自己的论文供合作者同步修改和编译，真不戳真不戳