在单机上可以跑得动 Meta 发布的 LLaMA 模型。
https://til.simonwillison.net/llms/llama-7b-m2
https://twitter.com/ggerganov/status/1634282694208114690
#ml
https://til.simonwillison.net/llms/llama-7b-m2
https://twitter.com/ggerganov/status/1634282694208114690
#ml
Simon Willison’s TILs
Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp
See also: Large language models are having their Stable Diffusion moment right now .
为什么 ChatGPT API 是革命性的？
这几天读了读 ChatGPT API 的文档，太惊喜了：
1. 最新版的 API 是基于 gpt-turbo-3.5 的，这一版的 API 的交互是革命性的。得益于模型的强大，用户不需要提交各种参数，只要写 prompt 就行。也就是说 API 的 UX 被大大简化。用户不需要在请求里写参数，只要在 prompt 里写人话，模型自行能够明白用户的表达。
2. 更厉害的是，gpt 这类模型可以接受 chain of thoughts (COT) 的 prompt，如果用户觉得结果不满意，可以继续提交请求让模型生成更好的答案。在李宏毅的讲座里，他给出了一个例子就是，如果让模型直接解答一个复杂的数学题，效果可能不是很好，但是加上 let’s do it step by step 的 prompt 之后，模型给出了一步步的推导过程，结果大为改善。
3. 除了直接调用 ChatGPT API 的基础模型以外，OpenAI 还提供了让用户提交自己的 embedding 和 fine-tuning 等定制模型的方式，这两种都可以通过 API 来实现，不需要额外的步骤。不过，最新的 API 暂时不支持 fine-tuning
4. 以前随便开发一个 NLP 的模型，基本上开发周期是以月计算的，有了 ChatGPT API 之后，抛去准备数据的时间，开发周期可以以小时计算。我从零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。
#nlp
这几天读了读 ChatGPT API 的文档，太惊喜了：
1. 最新版的 API 是基于 gpt-turbo-3.5 的，这一版的 API 的交互是革命性的。得益于模型的强大，用户不需要提交各种参数，只要写 prompt 就行。也就是说 API 的 UX 被大大简化。用户不需要在请求里写参数，只要在 prompt 里写人话，模型自行能够明白用户的表达。
2. 更厉害的是，gpt 这类模型可以接受 chain of thoughts (COT) 的 prompt，如果用户觉得结果不满意，可以继续提交请求让模型生成更好的答案。在李宏毅的讲座里，他给出了一个例子就是，如果让模型直接解答一个复杂的数学题，效果可能不是很好，但是加上 let’s do it step by step 的 prompt 之后，模型给出了一步步的推导过程，结果大为改善。
3. 除了直接调用 ChatGPT API 的基础模型以外，OpenAI 还提供了让用户提交自己的 embedding 和 fine-tuning 等定制模型的方式，这两种都可以通过 API 来实现，不需要额外的步骤。不过，最新的 API 暂时不支持 fine-tuning
4. 以前随便开发一个 NLP 的模型，基本上开发周期是以月计算的，有了 ChatGPT API 之后，抛去准备数据的时间，开发周期可以以小时计算。我从零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。
#nlp
👍3
Haystack
• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.
https://github.com/deepset-ai/haystack
#nlp
• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.
https://github.com/deepset-ai/haystack
#nlp
GitHub
GitHub - deepset-ai/haystack: AI orchestration framework to build customizable, production-ready LLM applications. Connect components…
AI orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data...
A team of ex-OpenAI fellows at Together have released a 20B chat-GPT model, fine-tuned for chat using EleutherAI's GPT-NeoX-20B, with over 43 million instructions under the Apache-2.0 license.
https://github.com/togethercomputer/OpenChatKit
https://www.together.xyz/blog/openchatkit
#nlp
https://github.com/togethercomputer/OpenChatKit
https://www.together.xyz/blog/openchatkit
#nlp
GitHub
GitHub - togethercomputer/OpenChatKit
Contribute to togethercomputer/OpenChatKit development by creating an account on GitHub.
This media is not supported in your browser
VIEW IN TELEGRAM
一键安装 LlaMA 的工具来了！
一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。
这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。
具体安装步骤：
1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具）
2. npx dalai llama
3. npx dalai serve
它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。
https://cocktailpeanut.github.io/dalai/#/
#ml #tools
一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。
这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。
具体安装步骤：
1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具）
2. npx dalai llama
3. npx dalai serve
它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。
https://cocktailpeanut.github.io/dalai/#/
#ml #tools
👍4😁2
DPS Build
一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…
在一台 2019 年顶配 MacBook Pro 上试了下，intel CPU 完全带不动这个模型。
反倒是 2020 款的 MacBook Air 跑起来完全没问题。
反倒是 2020 款的 MacBook Air 跑起来完全没问题。
斯坦福开源了一个自行搭建 LLaMA 的架构指南 Alpaca，有人算了算了，大概花 $600 就能训练出一个表现类似 GPT3.5 的大语言模型。
https://crfm.stanford.edu/alpaca/
https://twitter.com/yanndubs/status/1635339256532205568
https://crfm.stanford.edu/alpaca/
https://twitter.com/yanndubs/status/1635339256532205568
❤5
这几天在看如何用自己的语料库结合 ChatGPT API 来使用，目前找到两个方案：
1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求；
2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding 通过 API 上传到 OpenAI 上，每次请求时，指定使用这一 embedding。
目前的测试看下来，前面这种方案效果更好，但是因为要发起多次请求，所以速度比较慢；后面这种会将结果局限在 embedding 内，当然因为是单次请求，所以速度较快。
成本方面，turbo 的价格是 davinci / ada 的十分之一，但是因为多次请求，且带有 context，所以大概估算下来可能差得不多。
如果大家有更好的思路，也欢迎讨论。
1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求；
2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding 通过 API 上传到 OpenAI 上，每次请求时，指定使用这一 embedding。
目前的测试看下来，前面这种方案效果更好，但是因为要发起多次请求，所以速度比较慢；后面这种会将结果局限在 embedding 内，当然因为是单次请求，所以速度较快。
成本方面，turbo 的价格是 davinci / ada 的十分之一，但是因为多次请求，且带有 context，所以大概估算下来可能差得不多。
如果大家有更好的思路，也欢迎讨论。
👍2
OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升：
1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分
2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现
3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了 80.1%，阿语到了 80%
4. 作为多模态的模型， GPT-4 在图像/视频类的测试上也有不错的表现
https://openai.com/research/gpt-4
1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分
2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现
3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了 80.1%，阿语到了 80%
4. 作为多模态的模型， GPT-4 在图像/视频类的测试上也有不错的表现
https://openai.com/research/gpt-4
❤1