OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升：
1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分
2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现
3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了 80.1%，阿语到了 80%
4. 作为多模态的模型， GPT-4 在图像/视频类的测试上也有不错的表现
https://openai.com/research/gpt-4
1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分
2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现
3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了 80.1%，阿语到了 80%
4. 作为多模态的模型， GPT-4 在图像/视频类的测试上也有不错的表现
https://openai.com/research/gpt-4
❤1
GPT-4 早在去年八月就完成了训练，后面的这半年都是在做测试等工作。按照这个时间线，GPT-5 也快了。
https://twitter.com/abacaj/status/1635837820270002178
https://twitter.com/abacaj/status/1635837820270002178
🙉4
DPS Build
这几天在看如何用自己的语料库结合 ChatGPT API 来使用，目前找到两个方案： 1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求； 2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding…
第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。
目前可能的优化空间：
1. 把计算相似度的算法调整，默认是 cosine；
2. 把文本数据进一步清洗，尽可能去除噪音数据；
3. 调整 embedding 的 chunk 的大小
4. 准备更多高质量的文本数据。
目前可能的优化空间：
1. 把计算相似度的算法调整，默认是 cosine；
2. 把文本数据进一步清洗，尽可能去除噪音数据；
3. 调整 embedding 的 chunk 的大小
4. 准备更多高质量的文本数据。
DPS Build
一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…
用自己的数据集 fine tune 这个 LLaMA 模型，效果超过 GPT-3.5
https://twitter.com/iamgingertrash/status/1636180818606592000
https://twitter.com/iamgingertrash/status/1636180818606592000
X (formerly Twitter)
simp 4 satoshi on X
Here’s our LLaMA-13B fine tuned with RLHF & SFT
This has only been trained on 3% of our total dataset size, and no NSFW yet.
It is better than GPT3.5
We’re open sourcing all weights and inference code in a few days after training
This has only been trained on 3% of our total dataset size, and no NSFW yet.
It is better than GPT3.5
We’re open sourcing all weights and inference code in a few days after training
❤1