Meta AI 新作品
- Massively Multilingual Speech
- 为 1,100 多种语言推出语音转文本、文本转语音等功能，语言转文本的错误率只有 Whisper 的一半
- 为 4000 多种语言训练的语言识别模型，仅有6.1%的错误率
- 使用连接时序分类CTC的技术，而不是LLMs
- 今天已经公开模型和代码，以方便其他研究者使用
- 在 wav2vec2.0 的基础上构建
- 使用了一个巧妙的宗教语言数据集：
- 目前最大的语音数据集仅涵盖100种语言
- 但是圣经等宗教文本已经被翻译而且有公开的录音
- 我们创建了包含1100+语言的圣经新约数据集，每种语言32小时的数据
- 在纳入其他基督教读物的无标签录音后，将可用语言数量增加到4000+
- 录音以男性为主，但是模型的男女性声音表现同样出色
- 录音是宗教内容，但模型并没有过度偏向宗教语言（还是有一点）

https://ai.facebook.com/blog/multilingual-model-speech-recognition/

https://ai.facebook.com/blog/wav2vec-20-learning-the-structure-of-speech-from-raw-audio/

在
@Photoshop
（测试版）应用程序中引入生成式填充 - 一种通过简单的文本提示创建非凡图像的全新神奇方式，由#AdobeFirefly提供支持。https://vxtwitter.com/Adobe/status/1660964405893541888

windows copilot 😲 https://vxtwitter.com/Microsoft/status/1661045178180812805

微软推出开源的开发者工具Dev Home（下载链接和项目地址见下推），可以连接到GitHub账号，将开发环境部署自动化，并带来为开发人员定制的新存储卷Dev Drive，可以将高I/O负载下的应用构建时间缩短30%。 https://vxtwitter.com/sundyme/status/1661062441743319041?s=20

QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。https://twitter.com/Tim_Dettmers/status/1661379354507476994?s=20

利用 Meta 的 ImageBind 训练出来的多模态模型。
只使用了 文本-图像 数据进行微调就获得了很好的多模态效果。https://vxtwitter.com/yixuan_su/status/1661064018868551691

非常有趣的表格
美国人听过 ChatGPT 的不同人群比例
男性、年轻、学历高、Asian 这几个标签很突出
来源
https://pewresearch.org/short-reads/2023/05/24/a-majority-of-americans-have-heard-of-chatgpt-but-few-have-tried-it-themselves/

「长期更新」学习娱乐全包覆，我家bot超级cool♪ https://lychee.love/mybots/

FastGpt+Laf，5分钟，将AI知识库装进公众号 https://www.bilibili.com/video/BV1xh4y1t7fy/

如果我们在 Minecraft 中解放 GPT-4 会怎样？ ⛏️

我很高兴地宣布 Voyager，这是第一个完全在上下文中玩 Minecraft 的终身学习代理。 Voyager 通过编写、提炼、提交和从技能库中检索*代码*不断改进自己。

GPT-4 解锁了一种新范式：“训练”是代码执行而不是梯度下降。 “训练有素的模型”是 Voyager 迭代组合的技能代码库，而不是浮点数矩阵。我们正在将无梯度架构推向极限。https://vxtwitter.com/DrJimFan/status/1662115266933972993?s=20

ChatGPT iOS 客户端 3天下载量 71 万（作为对比，谷歌是 26万）
对于一个有6000万月访问的爆款产品来说，这个数字还是有点少的。

Web 方面：
Bing 的月访问量下降 11%，到 38.9M
ChatGPT 则是下降 5% 到 62.4M
Bard 增长 346%，达到 6.6M

基本可以看出是 Bard 分流了

来源

https://markets.businessinsider.com/news/stocks/chatgpt-alphabet-google-stock-bofa-wall-street-search-engine-markets-2023-5

OpenAI Andrej 的模型训练介绍视频讲的还是很不错的。
40分钟的视频，可以说是LLM产品经理快速入门。
模型训练的四个阶段，大部分只是走了前三个，走到第四个的屈指可数，比如这个排行榜里只有 GPT4、3.5、Claude 有，这也是为什么人们普遍觉得他们更聪明更像人。
视频地址 https://bilibili.com/video/BV1ts4y1T7UH/