OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升： 1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分 2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现 3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了…

在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml

第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。

手工写完一个方案后，看到有人把工具链搭出来了： LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data. https://github.com/jerryjliu/llama_index