最近看了一篇关于CNN提取图像高频低频信息的blog，文章中写到“CNN具备捕获人类无法感知的高频成分能力，而这个现象可以用于解释多种人类无法理解的假设，例如泛化能力、对抗样本鲁棒性等。”
核心思想是说CNN学习过程会先拟合低频信息，随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知，里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多，也许就是造成过拟合的罪魁祸首。
之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理，一个小细节是：性能 >= 最优性能时我就更新本地的最优模型，现在看来这个=可能还有待商榷，如果训到最后面CNN会学到很多高频特征，这样的模型泛化性能是否会受影响呢。还有一点是这一轮的最优性能是否只是在验证集上过拟合，运气比较好，刚好优化到对验证集有利的点上去了呢。我能想到的解决方案就是多折验证和模型集成，后续对于高低频信息的研究感觉还是有值得发掘的地方
核心思想是说CNN学习过程会先拟合低频信息，随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知，里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多，也许就是造成过拟合的罪魁祸首。
之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理，一个小细节是：性能 >= 最优性能时我就更新本地的最优模型，现在看来这个=可能还有待商榷，如果训到最后面CNN会学到很多高频特征，这样的模型泛化性能是否会受影响呢。还有一点是这一轮的最优性能是否只是在验证集上过拟合，运气比较好，刚好优化到对验证集有利的点上去了呢。我能想到的解决方案就是多折验证和模型集成，后续对于高低频信息的研究感觉还是有值得发掘的地方
Muyun99的杂谈
最近看了一篇关于CNN提取图像高频低频信息的blog，文章中写到“CNN具备捕获人类无法感知的高频成分能力，而这个现象可以用于解释多种人类无法理解的假设，例如泛化能力、对抗样本鲁棒性等。” 核心思想是说CNN学习过程会先拟合低频信息，随着训练如果loss不再下降则会进一步引入高频信息。但是高频信息人类无法感知，里面可能是一些噪声也可能包含数据分布等有用的信息。如果高频信息中噪声较多，也许就是造成过拟合的罪魁祸首。 之前在做竞赛的时候其实都是选的验证集上最好的性能的一轮去对测试集推理，一个小细节是：性能…
知乎专栏
CNN：我不是你想的那样
0 摘要论文名称：High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks 论文地址： https://arxiv.org/abs/1905.13545 github： https://github.com/HaohanWang/HFC 每当…
现在这种对于微弱信息建模的工作好多啊，之前看到过通过面部信息预测心跳的，通过高分辨率照片中人眼瞳孔的倒影恢复环境信息的等等，这个是用激光雷达做监听，技术侵入生活后产生的安全问题也是值得考虑
Forwarded from QRZ 的摸鱼日常
每天都会看很多东西，但是基本上看完就忘。也曾经尝试过记笔记，但是效果不是很好。notion/印象笔记等工具都很好用，但是总不记得记东西。
博客更适合放一些输出的东西，而不是输入（这也是我好久没更新博客的原因，输出不够）
这次试一试vuepress+notion分别记录收获和私人的记录。另外 @MiaoTonyChannel 的 #今天都看了什么 很值得学习。
博客更适合放一些输出的东西，而不是输入（这也是我好久没更新博客的原因，输出不够）
这次试一试vuepress+notion分别记录收获和私人的记录。另外 @MiaoTonyChannel 的 #今天都看了什么 很值得学习。
#今天都看了什么
这两天抽空在看《中国计算机协会通讯》的杂志（应该是老板随便丢给师兄的，我刚好看到了就拿过来翻翻）。
2020年第6期的主题是数据仓库的建设，讲了数仓建设中的挑战，从硬件到软件的架构等等，大致翻了翻。第7期的主题是IT技术助力疫情防控，和Hackathon的主题一样，读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh，大家用大数据和可视化来做疫情的预测和分析，用区块链做疑似病例和捐赠物资的溯源，基于推荐模型的自测系统等等，基于大数据的新发重大事件的检测、预警与应对以后应该会成为一个很热的话题。我美赛的毒品传播其实也是用的传染病模型，各种变量的假设，各类传播问题的建模等等，能够从数据中挖掘出模型中的参数也是一个挺有意思的事情。
然后第8期的主题就是认知图谱，这一期很有意思。认知图谱的应用框架遵循认知心理学中的”双过程理论“，系统1负责经验性的直觉判断，系统2则负责进行推理。这一个理论最早看到应该是《思考，快与慢》这本书里提到的，人脑分为system1 和 system2。system1的工作侧重直觉，难以解释，这类问题例如 cv 和 nlp 中的一些基本问题，以神经网络为代表的神经系统做得很好了；system2 的工作偏向于推理，推理工作现在比较典型的方法就是知识图谱，用符号系统的方式来做。
第8期的理论很多是基于图灵奖获得者Yoshua Bengio在NIPS2019的那场特邀报告，他明确提到：”深度学习要从系统1（system1）到系统2（system2）转化“。之前也看到一众学者在讨论什么是下一代的人工智能，有的支持这个观点，有的支持 Hinton ，将深度学习推翻重来，标志性工作就是胶囊网络（Capsule Networks），刚刚检索到Hinton老爷子在AAAI 2020上的演讲，好像又有了新的进展。
想象力真的有限，想象不出下一代人工智能是什么样子，希望这些巨人和后起之秀们带来更加精彩的idea，让科技有更加 strong 的工具
这两天抽空在看《中国计算机协会通讯》的杂志（应该是老板随便丢给师兄的，我刚好看到了就拿过来翻翻）。
2020年第6期的主题是数据仓库的建设，讲了数仓建设中的挑战，从硬件到软件的架构等等，大致翻了翻。第7期的主题是IT技术助力疫情防控，和Hackathon的主题一样，读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh，大家用大数据和可视化来做疫情的预测和分析，用区块链做疑似病例和捐赠物资的溯源，基于推荐模型的自测系统等等，基于大数据的新发重大事件的检测、预警与应对以后应该会成为一个很热的话题。我美赛的毒品传播其实也是用的传染病模型，各种变量的假设，各类传播问题的建模等等，能够从数据中挖掘出模型中的参数也是一个挺有意思的事情。
然后第8期的主题就是认知图谱，这一期很有意思。认知图谱的应用框架遵循认知心理学中的”双过程理论“，系统1负责经验性的直觉判断，系统2则负责进行推理。这一个理论最早看到应该是《思考，快与慢》这本书里提到的，人脑分为system1 和 system2。system1的工作侧重直觉，难以解释，这类问题例如 cv 和 nlp 中的一些基本问题，以神经网络为代表的神经系统做得很好了；system2 的工作偏向于推理，推理工作现在比较典型的方法就是知识图谱，用符号系统的方式来做。
第8期的理论很多是基于图灵奖获得者Yoshua Bengio在NIPS2019的那场特邀报告，他明确提到：”深度学习要从系统1（system1）到系统2（system2）转化“。之前也看到一众学者在讨论什么是下一代的人工智能，有的支持这个观点，有的支持 Hinton ，将深度学习推翻重来，标志性工作就是胶囊网络（Capsule Networks），刚刚检索到Hinton老爷子在AAAI 2020上的演讲，好像又有了新的进展。
想象力真的有限，想象不出下一代人工智能是什么样子，希望这些巨人和后起之秀们带来更加精彩的idea，让科技有更加 strong 的工具
Muyun99的杂谈
#今天都看了什么 这两天抽空在看《中国计算机协会通讯》的杂志（应该是老板随便丢给师兄的，我刚好看到了就拿过来翻翻）。 2020年第6期的主题是数据仓库的建设，讲了数仓建设中的挑战，从硬件到软件的架构等等，大致翻了翻。第7期的主题是IT技术助力疫情防控，和Hackathon的主题一样，读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh，大家用大数据和可视化来做疫情的预测和分析，用区块链做疑似病例和捐赠物资的溯源，基于推荐模型的自测系统等等，基于大数据的新发重大事件的检测、预警与应对以后应该会…
Bilibili
林宙辰-下一代机器学习_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
【下一代机器学习】在林宙辰教授的报告中指出，当前深度学习红利已经接近终点，下一代机器学习会是什么成为亟待思考的问题。目前有不同方案，例如张钹院士等人提出的“认知+符号”，Y.Bengio 等人提出的“System 1+System 2”，M. Jordan 则认为根本不需要新的算法，只要有市场推动即可。目前为止，这仍然是一个开放问题。
Muyun99的杂谈
#今天都看了什么 这两天抽空在看《中国计算机协会通讯》的杂志（应该是老板随便丢给师兄的，我刚好看到了就拿过来翻翻）。 2020年第6期的主题是数据仓库的建设，讲了数仓建设中的挑战，从硬件到软件的架构等等，大致翻了翻。第7期的主题是IT技术助力疫情防控，和Hackathon的主题一样，读完大致的感受就是传统的SEIR的传染病模型被各种无情吊打hhh，大家用大数据和可视化来做疫情的预测和分析，用区块链做疑似病例和捐赠物资的溯源，基于推荐模型的自测系统等等，基于大数据的新发重大事件的检测、预警与应对以后应该会…
Bilibili
下一代机器学习的应走之路
机器学习在发展的过程中，经历了许多次转折和变化。从最初的符号主义专家系统，利用结构化的知识辅助机器预测，到统计学习方法的出现。2006年以后，更是由于以深度神经网络为代表的联结主义的兴起，使得机器学习迎来了蓬勃发展的时期。但近年来的多项研究表明，第二代机器学习技术仍存在很多问题，在诸如图像识别，对话，语音识别等领域，现有模型能达到很好的效果，但模型的泛化性能有限，这体现在训练与测试之间误差的巨大差异、模型的鲁棒性、以及跨领域或问题的通用机器学习算法的空缺，引起了人们对下一代机器学习的思考。近期，
#今天都看了什么
今晚又去蹭了黄圣君老师的组会（获得了黄老师的批准的），三位同学分享了自己阅读的很有意思的论文。哎也更加认识到自己的菜菜菜，大致总结为以下三点，我还是需要更多的谦逊和学习。
1、论文的方向需要好好调研：现在自监督的论文已经很多都被人做过了，再在这个方向上水一篇我不确定能不能做成，而且和人家不撞车
2、和学长不同的学术积累：我和踏踏实实做了两年科研的宁鲲鹏学长的差距不仅仅是他的代码经验，还有他比我多读的几百篇论文，以及转的非常快的思路。另外一个非常不一样的点，我们组讲的论文基本都是网络结构或者解决范式的创新，对于 loss 的设计理解好像没有那么重要。到黄老师这边非常多的公式真的看的我头疼，很多论文都是基于一个 idea 再对 loss 做设计，强调的是如何设计这个 loss 以及如何进行优化。虽然我的理想以及我的水平也并不足以做这种特别偏理论的工作，但是这些关于优化，关于概率的问题真得好好搞定，之前丢下来的数学通过应试的方法自学通过考试，现在得捡起来了，矩阵论概率论都得补一补了。数学的弱势终是尝了苦头
3、和老师不同的思维范式：第一篇工作那个同学讲的很粗糙，他也坦言自己没看懂，经过黄老师的解释真的很快把一篇文章理解了。并且接下来的环节就是去批判这一篇论文，不加这个模块是否依然work？这个部件是否冗余？最常问的问题是这篇文章的贡献怎么样？这种批判性的精神我在阅读一些深度学习刚刚兴起的那些年代的论文会有，不过是说这tm这么粗暴简单，我到那个年代我也能中顶会😓。思维范式不一样，一个是为了future的工作，我是为了口嗨😭
菜，真tm菜，好好学习！
今晚又去蹭了黄圣君老师的组会（获得了黄老师的批准的），三位同学分享了自己阅读的很有意思的论文。哎也更加认识到自己的菜菜菜，大致总结为以下三点，我还是需要更多的谦逊和学习。
1、论文的方向需要好好调研：现在自监督的论文已经很多都被人做过了，再在这个方向上水一篇我不确定能不能做成，而且和人家不撞车
2、和学长不同的学术积累：我和踏踏实实做了两年科研的宁鲲鹏学长的差距不仅仅是他的代码经验，还有他比我多读的几百篇论文，以及转的非常快的思路。另外一个非常不一样的点，我们组讲的论文基本都是网络结构或者解决范式的创新，对于 loss 的设计理解好像没有那么重要。到黄老师这边非常多的公式真的看的我头疼，很多论文都是基于一个 idea 再对 loss 做设计，强调的是如何设计这个 loss 以及如何进行优化。虽然我的理想以及我的水平也并不足以做这种特别偏理论的工作，但是这些关于优化，关于概率的问题真得好好搞定，之前丢下来的数学通过应试的方法自学通过考试，现在得捡起来了，矩阵论概率论都得补一补了。数学的弱势终是尝了苦头
3、和老师不同的思维范式：第一篇工作那个同学讲的很粗糙，他也坦言自己没看懂，经过黄老师的解释真的很快把一篇文章理解了。并且接下来的环节就是去批判这一篇论文，不加这个模块是否依然work？这个部件是否冗余？最常问的问题是这篇文章的贡献怎么样？这种批判性的精神我在阅读一些深度学习刚刚兴起的那些年代的论文会有，不过是说这tm这么粗暴简单，我到那个年代我也能中顶会😓。思维范式不一样，一个是为了future的工作，我是为了口嗨😭
菜，真tm菜，好好学习！
Forwarded from Yuan的记事本 📚✍🏻 分享 软件 新闻 Yuan's Notepad
2020年12月8日 #单向历 详情: http://static.owspace.com/wap/297368.html