DPS Build
OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升： 1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分 2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现 3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了…
GPT-4 技术报告的撰写用到了自己😂
🤣2
困扰了我大半年的 Pycharm 问题终于解决了。
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
Error: No such file or directory @ rb_sysopen今天终于找到了解决方案：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
if File.readable?(path) && File.readlines(path).grep(/# see com.intellij.idea.SocketLock for the server side of this interface/).any?
改完之后，执行brew uninstall pycharm -dhttps://github.com/Homebrew/discussions/discussions/3517#discussioncomment-4811585
GitHub
Fail to upgrade goland: Error: No such file or directory @ rb_sysopen - /usr/bin/goland · Homebrew · Discussion #3517
I tried to upgrade goland, and brew say Error: No such file or directory @ rb_sysopen - /usr/bin/goland. The path /usr/bin/goland is actually not exists, i think the script would skip it instead of...
❤1
估算大语言模型的训练成本：
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Simon Willison’s Weblog
Could you train a ChatGPT-beating model for $85,000 and run it in a browser?
I think it’s now possible to train a large language model with similar functionality to GPT-3 for $85,000. And I think we might soon be able to run the resulting …
💩1
❤1
DPS Build
在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml
GitHub
GitHub - thomasantony/llamacpp-python: Python bindings for llama.cpp
Python bindings for llama.cpp. Contribute to thomasantony/llamacpp-python development by creating an account on GitHub.
DPS Build
第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。
手工写完一个方案后，看到有人把工具链搭出来了：
LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.
https://github.com/jerryjliu/llama_index
LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.
https://github.com/jerryjliu/llama_index
GitHub
GitHub - run-llama/llama_index: LlamaIndex is the leading framework for building LLM-powered agents over your data.
LlamaIndex is the leading framework for building LLM-powered agents over your data. - run-llama/llama_index
DPS Build
手工写完一个方案后，看到有人把工具链搭出来了： LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data. https://github.com/jerryjliu/llama_index
将准备好的 embedding 放到 Redis 里，整体性能会优于专门的 vector db
https://langchain.readthedocs.io/en/latest/modules/indexes/vectorstore_examples/redis.html
https://twitter.com/tisoga/status/1637763047774388224
https://langchain.readthedocs.io/en/latest/modules/indexes/vectorstore_examples/redis.html
https://twitter.com/tisoga/status/1637763047774388224
HuggingFace 能够直接渲染 Jupyter notebooks 了，而且可以直接在 Google colab 打开。
https://huggingface.co/spaces/davanstrien/notebooks-on-the-hub/blob/main/welcome_notebook_on_the_hub.ipynb
https://huggingface.co/spaces/davanstrien/notebooks-on-the-hub/blob/main/welcome_notebook_on_the_hub.ipynb
huggingface.co
welcome_notebook_on_the_hub.ipynb · davanstrien/notebooks-on-the-hub at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍1
OpenAI 的 applied search lead - Lilian Weng 写的两篇关于 prompts 的长文，有非常多的细节
https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/
https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/
https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
lilianweng.github.io
Controllable Neural Text Generation
[Updated on 2021-02-01: Updated to version 2.0 with several work added and many typos fixed.]
[Updated on 2021-05-26: Add P-tuning and Prompt Tuning in the “prompt design” section.]
[Updated on 2021-09-19: Add “unlikelihood training”.]
[Updated on 2021-05-26: Add P-tuning and Prompt Tuning in the “prompt design” section.]
[Updated on 2021-09-19: Add “unlikelihood training”.]
一个可以在本地运行的 ChatGPT 客户端：
1. 界面与 ChatGPT 的 UI 类似
2. 所有会话记录保存在本地
3. 支持 markdown / 代码高亮
4. 需要添加自己的 API key
https://github.com/mckaywrigley/chatbot-ui
1. 界面与 ChatGPT 的 UI 类似
2. 所有会话记录保存在本地
3. 支持 markdown / 代码高亮
4. 需要添加自己的 API key
https://github.com/mckaywrigley/chatbot-ui
GitHub
GitHub - mckaywrigley/chatbot-ui: AI chat for any model.
AI chat for any model. Contribute to mckaywrigley/chatbot-ui development by creating an account on GitHub.
按照 OpenAI 的建议，如果 embedding 的 doc size 不超过两万条，可以直接把 embedding 放在内存里使用；超过两万条的话，建议使用这种专用的 vector db。
https://twitter.com/nash_su/status/1638042474689220609
https://twitter.com/nash_su/status/1638042474689220609
👍1
Github 发布了 Copilot X
https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/
https://twitter.com/swyx/status/1638550858073006089
https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/
https://twitter.com/swyx/status/1638550858073006089
The GitHub Blog
GitHub Copilot X: The AI-powered developer experience
GitHub Copilot is evolving to bring chat and voice interfaces, support pull requests, answer questions, and adopt OpenAI's GPT-4.
👏5
Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。
https://twitter.com/nonmayorpete/status/1638640617122320385
https://twitter.com/nonmayorpete/status/1638640617122320385
DPS Build
Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。 https://twitter.com/nonmayorpete/status/1638640617122320385
Openai
ChatGPT plugins
We’ve implemented initial support for plugins in ChatGPT. Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services.
围绕着 ChatGPT API 写了两周代码，记录一些想法：
1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。
2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能
3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。
https://letters.acacess.com/chapgpt_api/
1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。
2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能
3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。
https://letters.acacess.com/chapgpt_api/
DPS - Daily Productivity Sharing
Why Is the API Design of ChatGPT Revolutionary?
With the power of ChatGPT API, we just need 30 lines of code to accomplish a question and answer generation task. Yes, we spent most of the time to figure out how to use the prompt properly to fine tune the result.
DPS Build
第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。
GitHub
GitHub - openai/chatgpt-retrieval-plugin: The ChatGPT Retrieval Plugin lets you easily find personal or work documents by asking…
The ChatGPT Retrieval Plugin lets you easily find personal or work documents by asking questions in natural language. - openai/chatgpt-retrieval-plugin
❤2
DPS Build
Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。 结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。 https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---…
Apple 官方的 neural engine 推理加速 SDK — 直接让 PyTorch 的推理速度提速十倍
Use ane_transformers as a reference PyTorch implementation if you are considering deploying your Transformer models on Apple devices with an A14 or newer and M1 or newer chip to achieve up to 10 times faster and 14 times lower peak memory consumption compared to baseline implementations.
https://github.com/apple/ml-ane-transformers
Use ane_transformers as a reference PyTorch implementation if you are considering deploying your Transformer models on Apple devices with an A14 or newer and M1 or newer chip to achieve up to 10 times faster and 14 times lower peak memory consumption compared to baseline implementations.
https://github.com/apple/ml-ane-transformers
GitHub
GitHub - apple/ml-ane-transformers: Reference implementation of the Transformer architecture optimized for Apple Neural Engine…
Reference implementation of the Transformer architecture optimized for Apple Neural Engine (ANE) - apple/ml-ane-transformers