朱老师用一系列 AI 工具创作了一本童书，总共花了二十小时。
当然，他也坦言，因为自己是设计师，所以懂排版；因为之前出过书，所以了解整个出版流程。如果没有这些经验，恐怕远远不止二十小时。
他用到的工具： ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb.
https://www.douban.com/note/846359765/
#ai
当然，他也坦言，因为自己是设计师，所以懂排版；因为之前出过书，所以了解整个出版流程。如果没有这些经验，恐怕远远不止二十小时。
他用到的工具： ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb.
https://www.douban.com/note/846359765/
#ai
豆瓣
我用AI做了一本童书
《环球旅行者的狗》，The World Traveler's Dog。问过ChatGPT了，换个词用Global也可以，这不重要。动手一共算是用了不到20小时，跨越一个月，其他时间都在思考。 这次用到的工具包括：ChatGPT3.5, New Bing, Midjourney V4, Figma, Blurb. 用到的经验包括：我出版过几本书，清楚拿书号和印刷发行的流程。我自己是设计师，排版对我来...
❤1
DPS Build
OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升： 1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分 2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现 3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了…
GPT-4 技术报告的撰写用到了自己😂
🤣2
困扰了我大半年的 Pycharm 问题终于解决了。
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
因为之前使用 Homebrew 安装 Pycharm，后来莫名其妙地无法更新，无法卸载也无法重装，每次都遇到这个报错信息：
Error: No such file or directory @ rb_sysopen今天终于找到了解决方案：
找到这个包含 meta info 的脚本，两段 XX 分别是日期和版本号，使用 tab 可以自动补全：
/opt/homebrew/Caskroom/pycharm/.metadata/XXXXXX/XXXXXX/Casks/pycharm.rb
然后修改里面的命令，变成：
if File.readable?(path) && File.readlines(path).grep(/# see com.intellij.idea.SocketLock for the server side of this interface/).any?
改完之后，执行brew uninstall pycharm -dhttps://github.com/Homebrew/discussions/discussions/3517#discussioncomment-4811585
GitHub
Fail to upgrade goland: Error: No such file or directory @ rb_sysopen - /usr/bin/goland · Homebrew · Discussion #3517
I tried to upgrade goland, and brew say Error: No such file or directory @ rb_sysopen - /usr/bin/goland. The path /usr/bin/goland is actually not exists, i think the script would skip it instead of...
❤1
估算大语言模型的训练成本：
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Nvidia A100 跑一小时的电费大概是1美金
https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/
Simon Willison’s Weblog
Could you train a ChatGPT-beating model for $85,000 and run it in a browser?
I think it’s now possible to train a large language model with similar functionality to GPT-3 for $85,000. And I think we might soon be able to run the resulting …
💩1
❤1
DPS Build
在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml
GitHub
GitHub - thomasantony/llamacpp-python: Python bindings for llama.cpp
Python bindings for llama.cpp. Contribute to thomasantony/llamacpp-python development by creating an account on GitHub.
DPS Build
第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。
手工写完一个方案后，看到有人把工具链搭出来了：
LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.
https://github.com/jerryjliu/llama_index
LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.
https://github.com/jerryjliu/llama_index
GitHub
GitHub - run-llama/llama_index: LlamaIndex is the leading framework for building LLM-powered agents over your data.
LlamaIndex is the leading framework for building LLM-powered agents over your data. - run-llama/llama_index
DPS Build
手工写完一个方案后，看到有人把工具链搭出来了： LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data. https://github.com/jerryjliu/llama_index
将准备好的 embedding 放到 Redis 里，整体性能会优于专门的 vector db
https://langchain.readthedocs.io/en/latest/modules/indexes/vectorstore_examples/redis.html
https://twitter.com/tisoga/status/1637763047774388224
https://langchain.readthedocs.io/en/latest/modules/indexes/vectorstore_examples/redis.html
https://twitter.com/tisoga/status/1637763047774388224
HuggingFace 能够直接渲染 Jupyter notebooks 了，而且可以直接在 Google colab 打开。
https://huggingface.co/spaces/davanstrien/notebooks-on-the-hub/blob/main/welcome_notebook_on_the_hub.ipynb
https://huggingface.co/spaces/davanstrien/notebooks-on-the-hub/blob/main/welcome_notebook_on_the_hub.ipynb
huggingface.co
welcome_notebook_on_the_hub.ipynb · davanstrien/notebooks-on-the-hub at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍1
OpenAI 的 applied search lead - Lilian Weng 写的两篇关于 prompts 的长文，有非常多的细节
https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/
https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/
https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
lilianweng.github.io
Controllable Neural Text Generation
[Updated on 2021-02-01: Updated to version 2.0 with several work added and many typos fixed.]
[Updated on 2021-05-26: Add P-tuning and Prompt Tuning in the “prompt design” section.]
[Updated on 2021-09-19: Add “unlikelihood training”.]
[Updated on 2021-05-26: Add P-tuning and Prompt Tuning in the “prompt design” section.]
[Updated on 2021-09-19: Add “unlikelihood training”.]
一个可以在本地运行的 ChatGPT 客户端：
1. 界面与 ChatGPT 的 UI 类似
2. 所有会话记录保存在本地
3. 支持 markdown / 代码高亮
4. 需要添加自己的 API key
https://github.com/mckaywrigley/chatbot-ui
1. 界面与 ChatGPT 的 UI 类似
2. 所有会话记录保存在本地
3. 支持 markdown / 代码高亮
4. 需要添加自己的 API key
https://github.com/mckaywrigley/chatbot-ui
GitHub
GitHub - mckaywrigley/chatbot-ui: AI chat for any model.
AI chat for any model. Contribute to mckaywrigley/chatbot-ui development by creating an account on GitHub.
按照 OpenAI 的建议，如果 embedding 的 doc size 不超过两万条，可以直接把 embedding 放在内存里使用；超过两万条的话，建议使用这种专用的 vector db。
https://twitter.com/nash_su/status/1638042474689220609
https://twitter.com/nash_su/status/1638042474689220609
👍1
Github 发布了 Copilot X
https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/
https://twitter.com/swyx/status/1638550858073006089
https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/
https://twitter.com/swyx/status/1638550858073006089
The GitHub Blog
GitHub Copilot X: The AI-powered developer experience
GitHub Copilot is evolving to bring chat and voice interfaces, support pull requests, answer questions, and adopt OpenAI's GPT-4.
👏5
Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。
https://twitter.com/nonmayorpete/status/1638640617122320385
https://twitter.com/nonmayorpete/status/1638640617122320385
DPS Build
Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。 https://twitter.com/nonmayorpete/status/1638640617122320385
Openai
ChatGPT plugins
We’ve implemented initial support for plugins in ChatGPT. Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services.
围绕着 ChatGPT API 写了两周代码，记录一些想法：
1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。
2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能
3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。
https://letters.acacess.com/chapgpt_api/
1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。
2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能
3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。
https://letters.acacess.com/chapgpt_api/
DPS - Daily Productivity Sharing
Why Is the API Design of ChatGPT Revolutionary?
With the power of ChatGPT API, we just need 30 lines of code to accomplish a question and answer generation task. Yes, we spent most of the time to figure out how to use the prompt properly to fine tune the result.