雷姬家的阁楼书架
409 subscribers
5.36K photos
121 videos
35 files
12.1K links
Reki的轻博客, 日常生活流水帐和信息见闻&吐槽.

你将在本频道看到包括且不限于以下话题:
菜菜程序员屎山遨游见闻
猎人 · 特工 · 提督 · 雀士 · 猎魔人 · 开位御主 · 期间限定回归
二五仔毒奶观测者
刀客塔沉船记录
财经新闻胡乱精选
生草新闻摘抄 & 分享
频道主突发恶疾
Download Telegram
尖灭作战怎么连限时开放所有的芯片都没有
Forwarded from Solidot
Meta 公布革命性可扩展模型架构 Megabyte

2023-05-24 23:46:00 by 跃入虚空

Meta 公司的 AI 研究人员在预印本平台 arXiv 上发表论文《MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers》,提出了一种革命性的可扩展模型架构 Megabyte。今天的高性能生成式 AI 模型如 OpenAI 的 GPT-4,都是基于 Google 研究人员在 2017 年提出的 Transformer 架构。Meta 的研究人员认为 Transformer 架构可能达到了其阈值,它有两大设计缺陷:第一,随着输入输出长度的增加,自我关注显著扩大。Transformer 语言模型需要注意所有单词,当需要处理的单词量数以千计,计算非常密集。第二,前馈神经网络存在扩展性难题。Megabyte 模型提出了一种不同的架构,它将输入输出序列分割为“补丁(patches)”而不是个别的令牌(tokens)。在每个补丁中,局域 AI 生成结果,全局模型管理协调所有补丁的最终输出,从而解决了扩展性问题。Megabyte 能并行进行计算,相比下传统 Transformers 是串行计算。测试显示,有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的 Transformers 模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌,相比下 GPT-4 是 3.2 万个令牌,Anthropic 的 Claude 是 10 万个令牌。

https://arxiv.org/abs/2305.07185
https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture

#人工智能
「由于与中国的竞争、俄罗斯在乌克兰的战争以及美国债务上限的争议,美元作为世界主要货币的地位受到审视。根据国际货币基金组织的数据,美元在2022年第四季度的官方外汇储备中的份额下降到了20年来的最低水平,仅为58%。然而,美元的地位得到了价值约23万亿美元的美国国债市场的支撑,这被视为一个安全的资金避风港。虽然可能没有一个单一的美元接替者,但不断涌现的替代方案可能会导致一个多极世界的出现。」
https://www.reuters.com/markets/currencies/end-king-dollar-forces-play-de-dollarisation-2023-05-25
「美国杜克能源 (Duke Energy) 将其在巴西的 10 座水电站出售给了中国三峡集团 (CTG)。2018 年,加拿大 Nutrien 公司将其在智利 SQM 公司(全球最大锂生产商之一)24% 的股份出售给了一家中国公司。

意大利国家电力公司 (Enel) 上月宣布,将以 29 亿美元的价格将其在秘鲁的资产出售给中国南方电网 (CSG)

西班牙 Naturgy 公司在 2020 年将其在智利的配电业务出售给了中企。

福特 (Ford) 就是其中之一,该公司正在讨论将其在巴西的一家旧工厂出售给中国的比亚迪 (BYD),用以生产电动汽车。」
https://www.ftchinese.com/story/001099755
「三星约 40% 的 Nand 闪存芯片产自其西安工厂,而 SK 海力士位于中国东部城市无锡的工厂占其全球 D-Ram 产量的近一半。」
https://www.ftchinese.com/story/001099749
您再好好看看罢
没有那个必要,请回吧
牙医shake it!
无论客户跟我说什么我都觉得他在阴阳怪气我
「我希望他们和同龄人平等竞争,凭能力和功劳换取机会,不要被京内生源的名额限制机会,更不要被记者证或者其他所谓的编制打击积极性。否则再“正能量”的成就,最后还是要变成翻转打脸的悲剧。

回头再看前面的美国编剧罢工事件。面对互联网新文化产业的冲击,编剧工会拿出来的核心方案,不是提高编剧的生产力,不是扩大编剧工会的全球同盟,而是怀念“过去的好时光”,要求在每一部影视剧中保留足够的“编制”,希望那些已经跟上新时代的超级编剧,能停下来等一等跑不快的同事。这些消极的诉求,几乎注定了罢工的效果会越来越弱。

可以说,从长期来看,胜利总是站在“编制”的对立面,因为维护“编制”的团体,一定会限制最有能力的年轻人,把潜在的盟友逼成敌人。」
https://mp.weixin.qq.com/s/NPogPt5mJaQWnUEnGzABpg
草?原来这个天空迷宫是有任务追踪的那个黄点的吗。老子当时是摸黑硬找把四个点找到的…
「科学家发现几乎任何材料都可以用于从空气湿度中产生电力,根据《先进材料》杂志上发表的一项研究。这项研究建立在先前的工作基础上,该工作表明可以利用从细菌中提取的材料从空气中提取能量。新的研究表明,只要材料可以被粉碎成小颗粒并用微小的孔重新制造,几乎任何材料都可以使用。这种以空气湿度为能源的发电装置被称为“Air-gen”,它可以提供持续的清洁电力,因为它利用始终存在的湿度能量,而不依赖太阳或风能。」
https://www.washingtonpost.com/science/2023/05/26/harvest-energy-thin-air
群青6亿播放量了(