一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…

OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升： 1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分 2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现 3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了…

在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml

第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。

手工写完一个方案后，看到有人把工具链搭出来了： LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data. https://github.com/jerryjliu/llama_index