This media is not supported in your browser
VIEW IN TELEGRAM
#程序员
如果你想对站点内容进行爬虫，还有一条最简洁的系统原生命令可以搞定：
wget --random-wait -r -p -e robots=off -U mozilla Website_URL
加上 -nv 或 --no-verbose 参数后，输出的内容会变得更加简洁；加上 --accept-regex 参数后，你可以根据正则来过滤你需要的 uri。
下面是爬取 babel 站点文档的一个演示：
如果你想对站点内容进行爬虫，还有一条最简洁的系统原生命令可以搞定：
wget --random-wait -r -p -e robots=off -U mozilla Website_URL
加上 -nv 或 --no-verbose 参数后，输出的内容会变得更加简洁；加上 --accept-regex 参数后，你可以根据正则来过滤你需要的 uri。
下面是爬取 babel 站点文档的一个演示：
OpenAI 闹剧还在继续。
Wired 最新报道，OpenAI 95%的员工，约738人，签署公开信，要求董事会成员全体辞职，召回 Altman 继续担任CEO 。并威胁如果不能达成，就全体跟随Altman去微软成立新公司。
耐人寻味的是 Ilya 也签名了。Ilya 发推说后悔参加董事会的行动。所以，谁主导了董事会的行动？
Altman 带人出走，OpenAI 还有灵魂人物 Ilya 尚可一战。Ilya 也走，那 OpenAI 就只剩一个壳。
硅谷一直信奉 hire slowly, fire quickly。现在应该能意识到，开除重要的人，必须缓慢且谨慎。
公司由人组成，而人是什么？公司不是章程和董事会的决议，公司是充满不确定性的水面之下涌动的混沌。
开除CEO 不是开董事会那么简单。需要长期摸民意，进行动员和激励，寻求内部外部支持，安排迅捷的重组计划和及时的公关，以及 plan B、C、D。这和发动一场全面战争一样。
能这么乱来，只能说明OpenAI 的架构有严重问题。
Wired 最新报道，OpenAI 95%的员工，约738人，签署公开信，要求董事会成员全体辞职，召回 Altman 继续担任CEO 。并威胁如果不能达成，就全体跟随Altman去微软成立新公司。
耐人寻味的是 Ilya 也签名了。Ilya 发推说后悔参加董事会的行动。所以，谁主导了董事会的行动？
Altman 带人出走，OpenAI 还有灵魂人物 Ilya 尚可一战。Ilya 也走，那 OpenAI 就只剩一个壳。
硅谷一直信奉 hire slowly, fire quickly。现在应该能意识到，开除重要的人，必须缓慢且谨慎。
公司由人组成，而人是什么？公司不是章程和董事会的决议，公司是充满不确定性的水面之下涌动的混沌。
开除CEO 不是开董事会那么简单。需要长期摸民意，进行动员和激励，寻求内部外部支持，安排迅捷的重组计划和及时的公关，以及 plan B、C、D。这和发动一场全面战争一样。
能这么乱来，只能说明OpenAI 的架构有严重问题。
#程序员
推荐 B 站上的一个合集《AI 论文精读系列》，https://www.bilibili.com/video/BV1H44y1t75x，主讲人是亚马逊资深首席科学家李沐，讲的比较清晰，目前内容还在持续更新中。
当前这个视频聊的是“如何读论文”，我总结下来是这么个「三遍阅读法」：
1）扫一眼：看标题、摘要、结论，确认研究方向是否与自己的研究方向匹配
2）圈重点：理出重要的图、表，圈出相关文献，读不懂，先去读引用的文献
3）问问题：论文提出了什么问题？用什么方法来解决这个问题？实验是怎么做的？
我的思路跟他还有一些差异，除了上面三个步骤，还会将我消化的内容整理好，然后输出给 ChatGPT，让 AI 结合论文来评价我理解的对不对。如果觉得有价值，还会分享到社交媒体，跟大家交流，确实也能收到不少优质的反馈。
推荐 B 站上的一个合集《AI 论文精读系列》，https://www.bilibili.com/video/BV1H44y1t75x，主讲人是亚马逊资深首席科学家李沐，讲的比较清晰，目前内容还在持续更新中。
当前这个视频聊的是“如何读论文”，我总结下来是这么个「三遍阅读法」：
1）扫一眼：看标题、摘要、结论，确认研究方向是否与自己的研究方向匹配
2）圈重点：理出重要的图、表，圈出相关文献，读不懂，先去读引用的文献
3）问问题：论文提出了什么问题？用什么方法来解决这个问题？实验是怎么做的？
我的思路跟他还有一些差异，除了上面三个步骤，还会将我消化的内容整理好，然后输出给 ChatGPT，让 AI 结合论文来评价我理解的对不对。如果觉得有价值，还会分享到社交媒体，跟大家交流，确实也能收到不少优质的反馈。
🐳4
#程序员
OpenAI 开源的 Whisper 大模型，https://github.com/openai/whisper，基本上解决了 ASR （Automatic Speech Recognition）的问题，包括语音识别、翻译、VAD 检测等，其效果与各大厂收费的产品相比，不相上下，也算是作为一个搅局者加入到了整个市场。
云厂商识别 1 小时的语音，标价大概在 1~3 元（参考国内云厂商计费），而 Whisper，最大的模型也就是 1.5B 参数（tiny 仅 39M，大小 ~1Gb），本地部署也就消耗下电费。
关于 Whisper 模型，《Robust Speech Recognition via Large-Scale Weak Supervision》，https://arxiv.org/pdf/2212.04356.pdf，这篇论文给出了详细的分析，从架构设计来看，它是一个标准的 Transformer encoder-decoder 架构，没有增加大的创新，之所以效果如此好，主打一个“大力出奇迹”。
它从互联网抓取了 68w 小时的数据进行训练，甚至都没有经历微调阶段和增强学习阶段，预训练模型默认好用。之前之所以没人这么干，是因为音视频数据一般都存在版权问题，要抓取 68w 小时如此庞大规模的数据量，很可能会涉及到了版权纠纷，另外，作者在论文也没有透露数据来源。当然，它公开了代码、训练过程和数据等情况，其有效性和价值是不可否认的。
这篇论文中提到，当前任务处理效果最好的是英语，基本上已经接近人类的水平（词错率 5.8%），但是在韩语、中文上，效果还是要差一些，仍有优化空间。更多详情可以听一听李沐在 B 站的《OpenAI Whisper 精读》，聊得比较有意思，https://www.bilibili.com/video/BV1VG4y1t74x
OpenAI 开源的 Whisper 大模型，https://github.com/openai/whisper，基本上解决了 ASR （Automatic Speech Recognition）的问题，包括语音识别、翻译、VAD 检测等，其效果与各大厂收费的产品相比，不相上下，也算是作为一个搅局者加入到了整个市场。
云厂商识别 1 小时的语音，标价大概在 1~3 元（参考国内云厂商计费），而 Whisper，最大的模型也就是 1.5B 参数（tiny 仅 39M，大小 ~1Gb），本地部署也就消耗下电费。
关于 Whisper 模型，《Robust Speech Recognition via Large-Scale Weak Supervision》，https://arxiv.org/pdf/2212.04356.pdf，这篇论文给出了详细的分析，从架构设计来看，它是一个标准的 Transformer encoder-decoder 架构，没有增加大的创新，之所以效果如此好，主打一个“大力出奇迹”。
它从互联网抓取了 68w 小时的数据进行训练，甚至都没有经历微调阶段和增强学习阶段，预训练模型默认好用。之前之所以没人这么干，是因为音视频数据一般都存在版权问题，要抓取 68w 小时如此庞大规模的数据量，很可能会涉及到了版权纠纷，另外，作者在论文也没有透露数据来源。当然，它公开了代码、训练过程和数据等情况，其有效性和价值是不可否认的。
这篇论文中提到，当前任务处理效果最好的是英语，基本上已经接近人类的水平（词错率 5.8%），但是在韩语、中文上，效果还是要差一些，仍有优化空间。更多详情可以听一听李沐在 B 站的《OpenAI Whisper 精读》，聊得比较有意思，https://www.bilibili.com/video/BV1VG4y1t74x