上面是今年六月快毕业时躲在被窝里写的一段文字，还没写完。一直在想什么是最优解呢，或许并不存在。要在念书的时候全面发展，在"自由"的大学里专注做题争取保研吗。那只会把内卷时期提前，让植发机构愈发壮大而已。

今年已经有一批同学以身明志了，和以往不同的是，今年的同学留下的遗书内容更为深刻。一个睡不着的晚上，我躺在寝室敲下了这些字，试图写一份《南航学生生存指南》，但越写越觉得以自由民主的高校校园里现在过度强调生存了，社团停止招新，新生的学弟学妹们忙于学业加入内卷大军中。各类组织百花齐放的年代逝去，又在这个特定的时候看到于老板的蛋蛋晚会头像了。原来的跨年晚会大家会围着篝火绕圈圈，2020的元旦晚上我没来得及加入，2021，一定要继续转圈圈，努力勇敢的生活下去

Synergy 真好用，可以在linux和win之间共享一套键鼠了

#今天都看了什么
在南京的第五年，我还是很喜欢老门东，喜欢这个名字和在那里发生的故事

不过还是有很多没有见过的南京。朋友来南京了我并不知道带他们去哪玩，寥寥数地也是无法体现这座城市的复杂多元。明朝和近代厚重的历史，科技和复古杂糅的气质，人文和自然景观在这座石头城里过渡得轻松不刻意

这座城市的种种气质只有亲临所处才能感知。又到了写年终总结的时候了，希望明年能够多抽时间用一期一会的心境去遍历南京，拾掇心情的同时也多多认识这座城市。

好强的计算摄影

之前是看到这个模型能“在人类的纠正下”创作出短篇小说的。昨天去考试前还在讨论GPT-3能不能给他段红楼梦的原话，把红楼梦直接补出来一章，感觉这个模型过拟合会很严重，只是由于他模型参数太大了，训练数据量又很多，所以看起来很牛逼的样子。就好像一个人的创新能力很差，但是他看了很多很多书并且记住了相当比例的内容，所以外人听不出来他说的话都是抄袭的。

这又是信息安全的一个坑了hhh，人工智能的信息安全问题。之前看到一个网站 thispersondoesnotexist.com 。是通过GAN生成一个世界上不存在的人脸，那是不是也可以用类似的方法去套出一些人脸相关的隐私信息（刚刚师兄说里面一个人的眼睛很像古力娜扎哈哈哈哈

”SGD 不够高效，一个小批量数据对于全局目标的优化是十分有限的。事实上 ， 对所有网络权重进行一个简单的梯度下降正好显现了我们对神经网络数学本质的无知。比如一些研究显示， 如果需要控制一个RNN网络的功能， 其实真正需要改变的权重数量是很少的。这些研究来自对梯度下降的RNN进行理论研究的团队。虽然整个RNN 的隐层网络的参数等于神经元的数量的平方，但是并不是改变所有这些参数都有意义。

生物大脑的网络连接synapse每时每刻都在进行着微小的随机扰动， 但是我们的日常认知功能却从来都十分稳定，这说明决定一个网络功能的可能不是网络权重大小的具体值。一个被称为low rank pertubation的理论指出， 控制这样一个巨大的神经元数量平方级参量的网络，只需要控制一组和神经元数量成线性的向量即可， 这组向量叠加在整个随机网络之上，就可以让网络表现出各种不同的认知功能（Linking Connectivity, Dynamics, and Computations in Low-Rank Recurrent Neural Networks）

这些工作指出的一种可能性，是我们当下的学习训练方法类似于前牛顿时代的工匠雕砌， 虽然也可以做的出罗马的大斗兽场，却是一种效率低的多的方法 。如果发现了真正的牛顿力学，这一切都是轻而易举的。“

写的真好

今天南京的星星好亮哈哈，在周日整理RSS订阅和发给微信小号文章的信息流已经践行了一个多月了，感觉很爽。在安排下一周工作的时候就有的放矢了，2020的最后十天，一起努力生活！明天冬至了，俺约了室友去喝羊肉汤✌️

时间飞逝 怀念大三的后街烧烤

昨天的羊肉真滴好吃，是冬至的幸福源泉✌️

真离谱

之前看到THU的类脑计算完备性理论发Nature了，没想到学院把一作的老师请来作报告了，太牛了

朋友圈看到的，xswl