雷姬家的阁楼书架
409 subscribers
5.36K photos
121 videos
35 files
12.1K links
Reki的轻博客, 日常生活流水帐和信息见闻&吐槽.

你将在本频道看到包括且不限于以下话题:
菜菜程序员屎山遨游见闻
猎人 · 特工 · 提督 · 雀士 · 猎魔人 · 开位御主 · 期间限定回归
二五仔毒奶观测者
刀客塔沉船记录
财经新闻胡乱精选
生草新闻摘抄 & 分享
频道主突发恶疾
Download Telegram
如何使用脚本关闭macos的屏幕
Forwarded from Haruki Kirigaya
「美国情报机构和微软公司今日宣布,他们在关岛和美国其他地方的电信系统中发现了一种神秘的计算机代码,微软公司称这是由一个中国政府黑客组织安装的。这一发现引发警觉。关岛拥有太平洋港口和庞大的美国空军基地,若中国入侵或封锁台湾,关岛将成为美国军事反应的核心所在。」
https://www.nytimes.com/2023/05/24/us/politics/china-guam-malware-cyber-microsoft.html
AF缺乏淡水?
你软的这个dev home300多m,而且下载还下载不了…
「因此,外资公司确实有一些这样的挑战要面对。这更像是关系恶化带来的一种长期影响。在日常运营中,我认为影响没有那么大。

你确实需要采取一种谨慎的态度。如果你要对潜在的商业伙伴或收购目标进行深入审查,应该与中国的律师事务所以及能够帮助进行尽职调查的第三方公司合作,以确保你不会触犯任何新的法律法规。」
https://cn.wsj.com/articles/专访-为何在中国做生意越来越难-895d947d
尖灭作战怎么连限时开放所有的芯片都没有
Forwarded from Solidot
Meta 公布革命性可扩展模型架构 Megabyte

2023-05-24 23:46:00 by 跃入虚空

Meta 公司的 AI 研究人员在预印本平台 arXiv 上发表论文《MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers》,提出了一种革命性的可扩展模型架构 Megabyte。今天的高性能生成式 AI 模型如 OpenAI 的 GPT-4,都是基于 Google 研究人员在 2017 年提出的 Transformer 架构。Meta 的研究人员认为 Transformer 架构可能达到了其阈值,它有两大设计缺陷:第一,随着输入输出长度的增加,自我关注显著扩大。Transformer 语言模型需要注意所有单词,当需要处理的单词量数以千计,计算非常密集。第二,前馈神经网络存在扩展性难题。Megabyte 模型提出了一种不同的架构,它将输入输出序列分割为“补丁(patches)”而不是个别的令牌(tokens)。在每个补丁中,局域 AI 生成结果,全局模型管理协调所有补丁的最终输出,从而解决了扩展性问题。Megabyte 能并行进行计算,相比下传统 Transformers 是串行计算。测试显示,有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的 Transformers 模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌,相比下 GPT-4 是 3.2 万个令牌,Anthropic 的 Claude 是 10 万个令牌。

https://arxiv.org/abs/2305.07185
https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture

#人工智能