OpenAI Andrej 的模型训练介绍视频讲的还是很不错的。
40分钟的视频，可以说是LLM产品经理快速入门。
模型训练的四个阶段，大部分只是走了前三个，走到第四个的屈指可数，比如这个排行榜里只有 GPT4、3.5、Claude 有，这也是为什么人们普遍觉得他们更聪明更像人。
视频地址 https://bilibili.com/video/BV1ts4y1T7UH/
40分钟的视频，可以说是LLM产品经理快速入门。
模型训练的四个阶段，大部分只是走了前三个，走到第四个的屈指可数，比如这个排行榜里只有 GPT4、3.5、Claude 有，这也是为什么人们普遍觉得他们更聪明更像人。
视频地址 https://bilibili.com/video/BV1ts4y1T7UH/
今天打开邮件获得了 Google SGE 生成式搜索的体验资格。跟卖家秀有亿点点不一样
- 需要手动点击生成按钮触发
- 搜索新闻，没有返回新闻，返回的是一些新闻网站，不如 Bard
- 询问如何看书，给了一大堆简单列表，信息量不如 ChatGPT
- 画图画不出
如果想自己试试，在这里排队
https://labs.withgoogle.com
- 需要手动点击生成按钮触发
- 搜索新闻，没有返回新闻，返回的是一些新闻网站，不如 Bard
- 询问如何看书，给了一大堆简单列表，信息量不如 ChatGPT
- 画图画不出
如果想自己试试，在这里排队
https://labs.withgoogle.com
国内大语言模型的 Elo 机制排行榜。ChatGpt3.5 作为一个基准，还是被超越了。
GPT4 才是星辰大海。
附上链接 https://mp.weixin.qq.com/s/n7J5Tth2zmuOREtwugLbwg
GPT4 才是星辰大海。
附上链接 https://mp.weixin.qq.com/s/n7J5Tth2zmuOREtwugLbwg
OpenAI Roadmap
2023
- 又快又便宜的 GPT4，这是首要目标，决心要把人工智能的价格压到最低
- 100k到1M的tokens上下文，更长的就需比较难了
- API 微调服务，目前ChatGPT和GPT4还不支持微调，未来也会开放
- 有记忆的 API，目前只能通过传输上文来保持记忆，大部分 token 被浪费在上文的传输中，未来会提供记忆对话历史的 API
2024
- 多模态，等待GPU足够用之后，把GPT4的多模态开放给所有人
当下的限制
GPU 不够用
GPT4，API排队、32k、多模态，不支持微调，这些都是因为算力不够。
OpenAI 并未使用 LoRa 等高效微调技术
关于插件
Sam 说，除了 Browsing 外，插件系统还没有找到 PMF
还说，很多人想把他们的产品放到 ChatGPT里，但实际上他们真正需要的是把ChatGPT放到他们的产品里。
与客户竞争
除了 ChatGPT 之外，不会再发布新产品。
ChatGPT 的愿景是成为工作中的超级智能助理。
https://humanloop.com/blog/openai-plans
2023
- 又快又便宜的 GPT4，这是首要目标，决心要把人工智能的价格压到最低
- 100k到1M的tokens上下文，更长的就需比较难了
- API 微调服务，目前ChatGPT和GPT4还不支持微调，未来也会开放
- 有记忆的 API，目前只能通过传输上文来保持记忆，大部分 token 被浪费在上文的传输中，未来会提供记忆对话历史的 API
2024
- 多模态，等待GPU足够用之后，把GPT4的多模态开放给所有人
当下的限制
GPU 不够用
GPT4，API排队、32k、多模态，不支持微调，这些都是因为算力不够。
OpenAI 并未使用 LoRa 等高效微调技术
关于插件
Sam 说，除了 Browsing 外，插件系统还没有找到 PMF
还说，很多人想把他们的产品放到 ChatGPT里，但实际上他们真正需要的是把ChatGPT放到他们的产品里。
与客户竞争
除了 ChatGPT 之外，不会再发布新产品。
ChatGPT 的愿景是成为工作中的超级智能助理。
https://humanloop.com/blog/openai-plans
Humanloop: LLM evals platform for enterprises
OpenAI's plans according to Sam Altman
Last week I had the privilege to sit down with Sam Altman and 20 other developers to discuss OpenAI’s product plans. Sam was remarkably open. The discussion touched on practical developer issues as well as bigger-picture questions related to OpenAI’s mission…
吴恩达公布了三门新的AI短课程，限时免费中
- 使用 ChatGPT API 构建系统
- 使用 Langchain 构建应用
- 扩散模型的工作原理
特别是 langchain 的课程和资料，应用开发者都应该看看。
学习地址
https://www.deeplearning.ai/short-courses/
- 使用 ChatGPT API 构建系统
- 使用 Langchain 构建应用
- 扩散模型的工作原理
特别是 langchain 的课程和资料，应用开发者都应该看看。
学习地址
https://www.deeplearning.ai/short-courses/
www.deeplearning.ai
Courses - DeepLearning.AI
Discover the best courses to build a career in AI | Whether you're a beginner or an experienced practitioner, our world-class curriculum and unique teaching methodology will guide you through every stage of your Al journey.
OpenAI最新的论文：《Let’s Verify Step by Step》 https://twitter.com/_akhaliq/status/1663981726647894027
X (formerly Twitter)
AK (@_akhaliq) on X
Open AI releases paper + dataset
Let’s Verify Step by Step
trained a model to achieve a new state-of-the-art in mathematical problem solving by rewarding each correct step of reasoning (“process supervision”) instead of simply rewarding the correct final…
Let’s Verify Step by Step
trained a model to achieve a new state-of-the-art in mathematical problem solving by rewarding each correct step of reasoning (“process supervision”) instead of simply rewarding the correct final…
Matthias Plappert这个发现很有意思：
1. 他在HumanEval上对几个LLMs进行了基准测试，特别是在pass@1（不知道是啥）上。他的侧重是代码生成方面的比较。
https://twitter.com/dotey/status/1664345808961937426?s=20
1. 他在HumanEval上对几个LLMs进行了基准测试，特别是在pass@1（不知道是啥）上。他的侧重是代码生成方面的比较。
https://twitter.com/dotey/status/1664345808961937426?s=20
X (formerly Twitter)
宝玉 (@dotey) on X
Matthias Plappert这个发现很有意思：
1. 他在HumanEval上对几个LLMs进行了基准测试，特别是在pass@1（不知道是啥）上。他的侧重是代码生成方面的比较。
2. 毫不意外，GPT-4是表现最好的！
3. 出人意料的是，OpenAI的text-davinci-003是一个非常强大的模型，虽然不如GPT-4，但是排名第二
4.…
1. 他在HumanEval上对几个LLMs进行了基准测试，特别是在pass@1（不知道是啥）上。他的侧重是代码生成方面的比较。
2. 毫不意外，GPT-4是表现最好的！
3. 出人意料的是，OpenAI的text-davinci-003是一个非常强大的模型，虽然不如GPT-4，但是排名第二
4.…
VisionPro 吸引了太多注意力，估计很多人没看完整发布会，其实 iOS17加入了本地的 Transformer 模型，增强了英文输入体验，并且还支持了 in line 的AI补全，类似 Gmail 那种写到一半给后半句建议，这可是系统级别的。
这个功能在中国应该无法使用。
还有 iOS17 自带的听写，也是用了类似 whisper 的技术，效果应该会有巨大的提升。
开发者可以思考如何利用这个新的听写搞些事情。
这个功能在中国应该无法使用。
还有 iOS17 自带的听写，也是用了类似 whisper 的技术，效果应该会有巨大的提升。
开发者可以思考如何利用这个新的听写搞些事情。
陆川导演的 Vision Pro 体验
包含了一段沉浸式的 AIGC
苹果早就把AI的最佳应用场景想清楚了
/imagine 一个场景，用MJ生成一副画，然后将它延展为360环绕，再生成立体的人物，配上真实立体的空间音频
Midjourney 让你在旅途中看风景
Vision Pro 则是让你浸入风景
https://m.nbd.com.cn/articles/2023-06-06/2859686.html
包含了一段沉浸式的 AIGC
苹果早就把AI的最佳应用场景想清楚了
/imagine 一个场景，用MJ生成一副画，然后将它延展为360环绕，再生成立体的人物，配上真实立体的空间音频
Midjourney 让你在旅途中看风景
Vision Pro 则是让你浸入风景
https://m.nbd.com.cn/articles/2023-06-06/2859686.html
最近家里小朋友要给他们的儿童播客做个网站，正好试试刚上线的 http://framer.com/ai 版式与文字内容全部生成差不多等了两分钟，这期间可以改主题色改字体，自动适配手机，很适合做活动类型的单页面网站！ https://vxtwitter.com/indigo11/status/1669101396338278401?s=20
Framer
Web Design Tools in Framer
Collaborate in real time with your team. Share a workspace, edit together, and keep every change in sync.
AI 歌曲不新鲜，但是 AI 披头士，这次是官方的，意义重大。
保罗·麦卡特尼在周二接受BBC的《今日》广播节目采访时表示，他利用人工智能技术从一盒歌手在1980年遇害前不久录制的演示磁带中“提取出”了列侬的声音。
这张唱片将在今年晚些时候发布。
https://www.semafor.com/article/06/13/2023/paul-mccartney-beatles-song-ai?utm_source=bensbites&utm_medium=newsletter&utm_campaign=the-final-beatles-song-with-ai-it-s-official
保罗·麦卡特尼在周二接受BBC的《今日》广播节目采访时表示，他利用人工智能技术从一盒歌手在1980年遇害前不久录制的演示磁带中“提取出”了列侬的声音。
这张唱片将在今年晚些时候发布。
https://www.semafor.com/article/06/13/2023/paul-mccartney-beatles-song-ai?utm_source=bensbites&utm_medium=newsletter&utm_campaign=the-final-beatles-song-with-ai-it-s-official
Semafor
The Beatles to make one-song comeback via AI
Paul McCartney told the BBC he had created 'the final Beatles record,' to be released this year, featuring the late John Lennon with the help of AI.