散步中
563 subscribers
359 photos
26 videos
7 files
1.2K links
观察花鸟鱼虫。
Download Telegram
"This might be a phase two initiative"
"That’s a good thought, but let’s revisit it later"
"We need to ensure alignment before moving forward"

https://letsnotdothat.com/
王毅劝鲁比奥好自为之

王毅表示,大国要有大国的样子,应当承担应尽国际责任,应当维护世界和平,应当帮助各国实现共同发展。希望你好自为之,为中美两国人民的未来,为世界的和平与稳定发挥建设性作用。
用大 model train 小 model?

原来是有专业术语的:知识蒸馏 (Knowledge Distillation, KD) 也叫开直升机,成本低很多

蒸馏的结果是 Deepseek 会回答说自己是 ChatGPT

据说 Google 一度内部想用这个方法迎头赶上 ChatGPT,但是这样可能会有法律问题于是重金从头开始 train 了 Gemini。

https://www.youtube.com/watch?v=WEBiebbeNCA
Forwarded from Memordust
DeepSeek发布统一图像理解与生成的Janus-Pro系列模型

1月27日晚,DeepSeek发布了Janus-Pro系列,旨在将图像理解和生成整合至单个模型中。该模型框架采用极简架构,将自回归语言模型与生成建模领域的前沿方法Rectified Flow相结合,在统一图像理解和生成方面取得了重要进展。

涩橘的Telegram频道,Rectified Flow可以直接在大型语言模型框架内进行训练,无需复杂的架构修改。JanusFlow是一个支持图像多模态的LLM,参数量为70亿(7B),方便本地运行。训练方式采用传统的预训练和SFT,未使用强化学习。现有数据表明,JanusFlow在性能上超越了同参数量的其他模型,并且Janus-Pro在GenEval和DPG-Bench基准测试中击败了OpenAI的DALL-E 3和Stable Diffusion,这是一个重要的性能提升,表明其在文本到图像生成方面具有很强的竞争力。目前,线上演示平台尚未开放,详细技术报告也暂未上传。初步分析认为,JanusFlow旨在实现大模型视觉生成的端到端处理,相较之前的版本有所改进,但在图像生成质量上与专门的图像生成模型(如Stable Diffusion)相比仍有差距。模型输入输出分辨率为384x384。推测其技术实现可能整合了Rectified FlowSigLIPSDXL-VAE等架构,并将其集成到Transformer的解码器/编码器中,通过联合训练对齐语义向量。虽然该成果的震撼程度不及V3和R1等重大突破,但仍然值得期待其未来的发展潜力。

DeepSeek持续推动技术创新,即使在除夕也有新成果发布,充分展现了其强大的研发能力。虽然目前的JanusFlow在图像生成方面并非顶尖水平,但它为未来更大规模的多模态模型探索了道路,并为其他模型树立了新的基准。

#DeepSeek #多模态 #图像生成 #人工智能
除夕夜纽约总领事为纳斯达克敲钟,然而今天正好美股因为 Deepseak 大跌😅

>The Chinese Consulate General in New York, visits the Nasdaq MarketSite in Times Square. It will mark the 16th consecutive year of the Chinese Consulate celebrating the Chinese New Year with Nasdaq. This will also be the very first Spring Festival since it was inscribed on the Representative List of the Intangible Cultural Heritage of Humanity.

>In honor of the occasion, Ambassador Chen Li, Consul General of China in New York, rings the Closing Bell.

https://www.nasdaq.com/events/chinese-consulate-general-new-york-rings-closing-bell
Forwarded from Alan的小纸箱
FT 的报道说中国对 Google 启动的反垄断调查是关于 Android 系统的支配地位「是否损害到小米、OPPO 等手机厂商的利益」,并且提到这并非最新发起,而是 2019 年北京市场监督管理局就已经前往 Google 在北京的办公室搜集相关证据了。

五年之后的今天,各家自研操作系统/生态都和 2019 年有巨大差异,现在这个时间节点重启旧案,显然只是为了在即将到来的谈判中增加筹码。

https://www.ft.com/content/2ec45e79-9502-4ffd-82e8-888d9283c776
Forwarded from Solidot
Meta 从盗版电子书库下载了逾百 TB 的电子书

2025-02-07 23:48 by 盲点

图书作者指控社交巨头 Meta 下载了盗版电子书去训练其 AI 模型,最新证据显示 Meta 的盗版规模惊人。Meta 通过安娜的档案(Anna's Archive)下载了至少 81.7 TB 的数据,其中包括来自 Z-Library 和 LibGen 的至少 35.7 TB 的数据(安娜的档案包含了 Z-Lib、Sci-Hub 和 LibGen 的镜像站)。Meta 之前还从 LibGen 下载了 80.6 TB 的数据。图书作者称,Meta 非法的电子书库种子下载规模惊人,认为这只是冰山一角,这些盗版电子书库仅占 Meta 盗版版权作品数量的 0.008%。

/.:'Torrenting From a Corporate Laptop Doesn't Feel Right': Meta Emails Unsealed

#书籍
之前那个回国自称「全世界能搭建万卡级算力平台的十人之一」前谷歌员工的起诉书出来了:

> According to the superseding indictment, Google hired Ding as a software engineer in 2019. Between approximately May 2022 and May 2023, Ding uploaded more than 1,000 unique files containing Google confidential information from Google’s network to his personal Google Cloud account, including the trade secrets alleged in the superseding indictment.

> While Ding was employed by Google, he secretly affiliated himself with two People’s Republic of China (PRC)-based technology companies. Around June 2022, Ding was in discussions to be the Chief Technology Officer for an early-stage technology company based in the PRC. By May 2023, Ding had founded his own technology company focused on AI and machine learning in the PRC and was acting as the company’s CEO.

https://www.justice.gov/usao-ndca/pr/superseding-indictment-charges-chinese-national-relation-alleged-plan-steal
>This conference is for undergrads, graduate students and recent graduates in CS, ML, applied math, and related technical fields. Even if you did not study these fields in school, you may qualify if you are highly technical and can demonstrate technical skills in i.e., open source repos, projects you’ve built, papers you’ve published, etc.

https://events.ycombinator.com/ai-sus
Forwarded from 椒盐豆豉剪报
发现本频道竟然没发过这张经典的 timing the market (aka 不定投)的代价的图,今天刚好跟人说过了我再发一遍。

如果你追涨杀跌仅仅只是错过了过去 20 年里最好 10 天(其中有 7 天都是在熊市里)的话,收益率就会比全时在市场里低超过 50%。
老话 time in the market >>>> timing the market.

#data #visual #money
听完这期五个小时将Rolex历史和商业模式的播客,一些有意思的信息:
1. 劳力士和苹果各自行业的地位非常像。
2. OMEGA曾经比劳力士大很多,但是石英革命期间一手好牌打烂了,劳力士则坚持自己的品牌策略做好机械表。
3. Apple Watch不仅没有杀死瑞士制表业,反而对高端机械表是巨大利好。因为不戴表的人也开始戴了,培养了一个巨大的市场。
4. 虽然大家觉得机械表是一个男性市场,但是劳力士从头就很重视女性客户,现在劳力士的客户群体的性别比例是50:50,比其他手表品牌平衡得多。
5. 劳力士每年捐出一大笔瑞士法郎给各行各业,有一部分是直接给日内瓦这个城市的,市民有什么缺钱的地方可以直接申请。

最后两个主播的落脚点是创始人是一个好人,一个成功的企业并不意味着创始人或者经理人是一个ruthless 以及 aggressive 的人。然而现实好像在朝着另外一个方向去。

https://www.acquired.fm/episodes/rolex