其实我没有用技术实现很多事情的能力和热情,但我还是想为后来的学弟学妹们做些什么,为南航做些什么。大四这一年关注了很多团队,南大的翠翠同学有很多好的idea,也动手实现了,非常喜欢逛他的blog;15级的章旭学长在南航那一年的 Hackathon 有过一面之缘,现在经常能在新闻里看到他创业的消息,把区块链的概念运用的很好;Asuri 战队也在刘师傅和曹师傅不断肝的不健康熬夜习惯中打造了一个很好的技术氛围。
我卸任后的msc的两届讲实话挺让我难过的,可能是因为我当时的很多事情都是我一个人单干吧,没有团队合作的概念,从上而下,从部长团到干事的参与感都不是很强,所以换届还是很难,不过沈主席的招新见面会开的很好,然后在见面会上指点江山的宣传部长麦同学就联系不上了,后面技术部也退了一个部长,社团11月份招完新,疫情一来,同学们都没有社团体验了,也不知道现在的部长们敲定了没有。今年也不让招新了,青黄不接的日子迟早会迎来解散的一天,我挺难过的。A2OS 的未来我也不知道该怎么办。我其实一直在逃避思考这些问题,我不知道怎么运用 team 的力量,我也不知道怎么营造一个氛围,曾经我以为办活动可以让大家积极起来,但我应该是失败了
我可以帮助理清楚思路以及拥有一些办活动的经验,如果有同学想继续把这些事做下去,我真的会很高兴一起做
我卸任后的msc的两届讲实话挺让我难过的,可能是因为我当时的很多事情都是我一个人单干吧,没有团队合作的概念,从上而下,从部长团到干事的参与感都不是很强,所以换届还是很难,不过沈主席的招新见面会开的很好,然后在见面会上指点江山的宣传部长麦同学就联系不上了,后面技术部也退了一个部长,社团11月份招完新,疫情一来,同学们都没有社团体验了,也不知道现在的部长们敲定了没有。今年也不让招新了,青黄不接的日子迟早会迎来解散的一天,我挺难过的。A2OS 的未来我也不知道该怎么办。我其实一直在逃避思考这些问题,我不知道怎么运用 team 的力量,我也不知道怎么营造一个氛围,曾经我以为办活动可以让大家积极起来,但我应该是失败了
我可以帮助理清楚思路以及拥有一些办活动的经验,如果有同学想继续把这些事做下去,我真的会很高兴一起做
南大MSC办的Hackathon,第一次在线上玩,没有那么多一起通宵熬夜的人有时候比较难顶(主要是零食不到位,开心的是又被队友带飞了,虽然没有奖,还是很愉快的一次经历(话说他们的 README 和 PPT 怎么写的这么好看,这就是Hackathon的本质吗hhh
"对于是否要发展人工智能,这不是支持不支持的问题,这是历史的潮流和进化箭头的指向,是无法逆转的。总会有人做,一国不做,别国会做,要是全地球人都达成协议不做,等到地球哪天不宜居就来不及了。请注意这个时间并不长,我们很幸运,之后的几百万年里可能会有大范围火山喷发,超新星带来的伽马射线暴,小行星撞击地球,冰川时期,太阳变亮等等事件,走错一步,可能就要再花几十万或者几百万年重来。
走出去是重要的。而为了走出去,没有更好的科技是不可能的。我们今天跑GPU烧掉那么多能源,为的是将来可控核聚变的成功,为的是让地球终于成为I型文明。而这些,靠回归田园生活,靠节流,靠艰苦朴素是没有出路的,靠万千科研人员用尽毕生精力,一点一点地手调参数手工设计也是不行的,得要不停地自动化再自动化才可以,而AI就正在向这个方向前进。"
引自田渊栋大佬
走出去是重要的。而为了走出去,没有更好的科技是不可能的。我们今天跑GPU烧掉那么多能源,为的是将来可控核聚变的成功,为的是让地球终于成为I型文明。而这些,靠回归田园生活,靠节流,靠艰苦朴素是没有出路的,靠万千科研人员用尽毕生精力,一点一点地手调参数手工设计也是不行的,得要不停地自动化再自动化才可以,而AI就正在向这个方向前进。"
引自田渊栋大佬
最近看了一篇关于CNN提取图像高频低频信息的blog,文章中写到“CNN具备捕获人类无法感知的高频成分能力,而这个现象可以用于解释多种人类无法理解的假设,例如泛化能力、对抗样本鲁棒性等。”
核心思想是说CNN学习过程会先拟合低频信息,随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知,里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多,也许就是造成过拟合的罪魁祸首。
之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理,一个小细节是:性能 >= 最优性能时我就更新本地的最优模型,现在看来这个=可能还有待商榷,如果训到最后面CNN会学到很多高频特征,这样的模型泛化性能是否会受影响呢。还有一点是这一轮的最优性能是否只是在验证集上过拟合,运气比较好,刚好优化到对验证集有利的点上去了呢。我能想到的解决方案就是多折验证和模型集成,后续对于高低频信息的研究感觉还是有值得发掘的地方
核心思想是说CNN学习过程会先拟合低频信息,随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知,里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多,也许就是造成过拟合的罪魁祸首。
之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理,一个小细节是:性能 >= 最优性能时我就更新本地的最优模型,现在看来这个=可能还有待商榷,如果训到最后面CNN会学到很多高频特征,这样的模型泛化性能是否会受影响呢。还有一点是这一轮的最优性能是否只是在验证集上过拟合,运气比较好,刚好优化到对验证集有利的点上去了呢。我能想到的解决方案就是多折验证和模型集成,后续对于高低频信息的研究感觉还是有值得发掘的地方
Muyun99的杂谈
最近看了一篇关于CNN提取图像高频低频信息的blog,文章中写到“CNN具备捕获人类无法感知的高频成分能力,而这个现象可以用于解释多种人类无法理解的假设,例如泛化能力、对抗样本鲁棒性等。” 核心思想是说CNN学习过程会先拟合低频信息,随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知,里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多,也许就是造成过拟合的罪魁祸首。 之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理,一个小细节是:性能…
知乎专栏
CNN:我不是你想的那样
0 摘要论文名称:High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks 论文地址: https://arxiv.org/abs/1905.13545 github: https://github.com/HaohanWang/HFC 每当…
现在这种对于微弱信息建模的工作好多啊,之前看到过通过面部信息预测心跳的,通过高分辨率照片中人眼瞳孔的倒影恢复环境信息的等等,这个是用激光雷达做监听,技术侵入生活后产生的安全问题也是值得考虑
Forwarded from QRZ 的摸鱼日常
每天都会看很多东西,但是基本上看完就忘。也曾经尝试过记笔记,但是效果不是很好。notion/印象笔记等工具都很好用,但是总不记得记东西。
博客更适合放一些输出的东西,而不是输入(这也是我好久没更新博客的原因,输出不够)
这次试一试vuepress+notion分别记录收获和私人的记录。另外 @MiaoTonyChannel 的 #今天都看了什么 很值得学习。
博客更适合放一些输出的东西,而不是输入(这也是我好久没更新博客的原因,输出不够)
这次试一试vuepress+notion分别记录收获和私人的记录。另外 @MiaoTonyChannel 的 #今天都看了什么 很值得学习。
#今天都看了什么
这两天抽空在看《中国计算机协会通讯》的杂志(应该是老板随便丢给师兄的,我刚好看到了就拿过来翻翻)。
2020年第6期的主题是数据仓库的建设,讲了数仓建设中的挑战,从硬件到软件的架构等等,大致翻了翻。第7期的主题是IT技术助力疫情防控,和Hackathon的主题一样,读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh,大家用大数据和可视化来做疫情的预测和分析,用区块链做疑似病例和捐赠物资的溯源,基于推荐模型的自测系统等等,基于大数据的新发重大事件的检测、预警与应对以后应该会成为一个很热的话题。我美赛的毒品传播其实也是用的传染病模型,各种变量的假设,各类传播问题的建模等等,能够从数据中挖掘出模型中的参数也是一个挺有意思的事情。
然后第8期的主题就是认知图谱,这一期很有意思。认知图谱的应用框架遵循认知心理学中的”双过程理论“,系统1负责经验性的直觉判断,系统2则负责进行推理。这一个理论最早看到应该是《思考,快与慢》这本书里提到的,人脑分为system1 和 system2。system1的工作侧重直觉,难以解释,这类问题例如 cv 和 nlp 中的一些基本问题,以神经网络为代表的神经系统做得很好了;system2 的工作偏向于推理,推理工作现在比较典型的方法就是知识图谱,用符号系统的方式来做。
第8期的理论很多是基于图灵奖获得者Yoshua Bengio在NIPS2019的那场特邀报告,他明确提到:”深度学习要从系统1(system1)到系统2(system2)转化“。之前也看到一众学者在讨论什么是下一代的人工智能,有的支持这个观点,有的支持 Hinton ,将深度学习推翻重来,标志性工作就是胶囊网络(Capsule Networks),刚刚检索到Hinton老爷子在AAAI 2020上的演讲,好像又有了新的进展。
想象力真的有限,想象不出下一代人工智能是什么样子,希望这些巨人和后起之秀们带来更加精彩的idea,让科技有更加 strong 的工具
这两天抽空在看《中国计算机协会通讯》的杂志(应该是老板随便丢给师兄的,我刚好看到了就拿过来翻翻)。
2020年第6期的主题是数据仓库的建设,讲了数仓建设中的挑战,从硬件到软件的架构等等,大致翻了翻。第7期的主题是IT技术助力疫情防控,和Hackathon的主题一样,读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh,大家用大数据和可视化来做疫情的预测和分析,用区块链做疑似病例和捐赠物资的溯源,基于推荐模型的自测系统等等,基于大数据的新发重大事件的检测、预警与应对以后应该会成为一个很热的话题。我美赛的毒品传播其实也是用的传染病模型,各种变量的假设,各类传播问题的建模等等,能够从数据中挖掘出模型中的参数也是一个挺有意思的事情。
然后第8期的主题就是认知图谱,这一期很有意思。认知图谱的应用框架遵循认知心理学中的”双过程理论“,系统1负责经验性的直觉判断,系统2则负责进行推理。这一个理论最早看到应该是《思考,快与慢》这本书里提到的,人脑分为system1 和 system2。system1的工作侧重直觉,难以解释,这类问题例如 cv 和 nlp 中的一些基本问题,以神经网络为代表的神经系统做得很好了;system2 的工作偏向于推理,推理工作现在比较典型的方法就是知识图谱,用符号系统的方式来做。
第8期的理论很多是基于图灵奖获得者Yoshua Bengio在NIPS2019的那场特邀报告,他明确提到:”深度学习要从系统1(system1)到系统2(system2)转化“。之前也看到一众学者在讨论什么是下一代的人工智能,有的支持这个观点,有的支持 Hinton ,将深度学习推翻重来,标志性工作就是胶囊网络(Capsule Networks),刚刚检索到Hinton老爷子在AAAI 2020上的演讲,好像又有了新的进展。
想象力真的有限,想象不出下一代人工智能是什么样子,希望这些巨人和后起之秀们带来更加精彩的idea,让科技有更加 strong 的工具
Muyun99的杂谈
#今天都看了什么 这两天抽空在看《中国计算机协会通讯》的杂志(应该是老板随便丢给师兄的,我刚好看到了就拿过来翻翻)。 2020年第6期的主题是数据仓库的建设,讲了数仓建设中的挑战,从硬件到软件的架构等等,大致翻了翻。第7期的主题是IT技术助力疫情防控,和Hackathon的主题一样,读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh,大家用大数据和可视化来做疫情的预测和分析,用区块链做疑似病例和捐赠物资的溯源,基于推荐模型的自测系统等等,基于大数据的新发重大事件的检测、预警与应对以后应该会…
Bilibili
林宙辰-下一代机器学习_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
【下一代机器学习】在林宙辰教授的报告中指出,当前深度学习红利已经接近终点,下一代机器学习会是什么成为亟待思考的问题。目前有不同方案,例如张钹院士等人提出的“认知+符号”,Y.Bengio 等人提出的“System 1+System 2”,M. Jordan 则认为根本不需要新的算法,只要有市场推动即可。目前为止,这仍然是一个开放问题。