GPT-4 早在去年八月就完成了训练，后面的这半年都是在做测试等工作。按照这个时间线，GPT-5 也快了。
https://twitter.com/abacaj/status/1635837820270002178
https://twitter.com/abacaj/status/1635837820270002178
🙉4
DPS Build
这几天在看如何用自己的语料库结合 ChatGPT API 来使用，目前找到两个方案： 1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求； 2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding…
第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。
目前可能的优化空间：
1. 把计算相似度的算法调整，默认是 cosine；
2. 把文本数据进一步清洗，尽可能去除噪音数据；
3. 调整 embedding 的 chunk 的大小
4. 准备更多高质量的文本数据。
目前可能的优化空间：
1. 把计算相似度的算法调整，默认是 cosine；
2. 把文本数据进一步清洗，尽可能去除噪音数据；
3. 调整 embedding 的 chunk 的大小
4. 准备更多高质量的文本数据。
DPS Build
一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…
用自己的数据集 fine tune 这个 LLaMA 模型，效果超过 GPT-3.5
https://twitter.com/iamgingertrash/status/1636180818606592000
https://twitter.com/iamgingertrash/status/1636180818606592000
X (formerly Twitter)
simp 4 satoshi on X
Here’s our LLaMA-13B fine tuned with RLHF & SFT
This has only been trained on 3% of our total dataset size, and no NSFW yet.
It is better than GPT3.5
We’re open sourcing all weights and inference code in a few days after training
This has only been trained on 3% of our total dataset size, and no NSFW yet.
It is better than GPT3.5
We’re open sourcing all weights and inference code in a few days after training
❤1
朱老师用一系列 AI 工具创作了一本童书，总共花了二十小时。
当然，他也坦言，因为自己是设计师，所以懂排版；因为之前出过书，所以了解整个出版流程。如果没有这些经验，恐怕远远不止二十小时。
他用到的工具： ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb.
https://www.douban.com/note/846359765/
#ai
当然，他也坦言，因为自己是设计师，所以懂排版；因为之前出过书，所以了解整个出版流程。如果没有这些经验，恐怕远远不止二十小时。
他用到的工具： ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb.
https://www.douban.com/note/846359765/
#ai
豆瓣
我用AI做了一本童书
《环球旅行者的狗》，The World Traveler's Dog。问过ChatGPT了，换个词用Global也可以，这不重要。动手一共算是用了不到20小时，跨越一个月，其他时间都在思考。 这次用到的工具包括：ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb. 用到的经验包括：我出版过几本书，清楚拿书号和印刷发行的流程。我自己是设计师，排版对我来...
❤1
DPS Build
OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升： 1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分 2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现 3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了…
GPT-4 技术报告的撰写用到了自己😂
🤣2
困扰了我大半年的 Pycharm 问题终于解决了。
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
Error: No such file or directory @ rb_sysopen今天终于找到了解决方案：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
if File.readable?(path) && File.readlines(path).grep(/# see com.intellij.idea.SocketLock for the server side of this interface/).any?
改完之后，执行brew uninstall pycharm -dhttps://github.com/Homebrew/discussions/discussions/3517#discussioncomment-4811585
GitHub
Fail to upgrade goland: Error: No such file or directory @ rb_sysopen - /usr/bin/goland · Homebrew · Discussion #3517
I tried to upgrade goland, and brew say Error: No such file or directory @ rb_sysopen - /usr/bin/goland. The path /usr/bin/goland is actually not exists, i think the script would skip it instead of...
❤1
估算大语言模型的训练成本：
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Simon Willison’s Weblog
Could you train a ChatGPT-beating model for $85,000 and run it in a browser?
I think it’s now possible to train a large language model with similar functionality to GPT-3 for $85,000. And I think we might soon be able to run the resulting …
💩1
❤1