OpenAI 的 applied search lead - Lilian Weng 写的两篇关于 prompts 的长文，有非常多的细节

https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/

https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/

分布式跑大语言模型，这个点子很赞啊，每个人跑一点，所有联网的机器拼起来就能跑非常大的模型了。

https://petals.ml/

一个可以在本地运行的 ChatGPT 客户端：

1. 界面与 ChatGPT 的 UI 类似
2. 所有会话记录保存在本地
3. 支持 markdown / 代码高亮
4. 需要添加自己的 API key

https://github.com/mckaywrigley/chatbot-ui

按照 OpenAI 的建议，如果 embedding 的 doc size 不超过两万条，可以直接把 embedding 放在内存里使用；超过两万条的话，建议使用这种专用的 vector db。

https://twitter.com/nash_su/status/1638042474689220609

Github 发布了 Copilot X

https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/

https://twitter.com/swyx/status/1638550858073006089

Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。

https://twitter.com/nonmayorpete/status/1638640617122320385

OpenAI 发布了 ChatGPT plugin

https://openai.com/blog/chatgpt-plugins

围绕着 ChatGPT API 写了两周代码，记录一些想法：

1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。

2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能

3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。

https://letters.acacess.com/chapgpt_api/

这个插件把我写的都写完了，以后直接调用这个插件就能结合自己的知识库来使用 ChatGPT API

https://github.com/openai/chatgpt-retrieval-plugin

Apple 官方的 neural engine 推理加速 SDK — 直接让 PyTorch 的推理速度提速十倍

Use ane_transformers as a reference PyTorch implementation if you are considering deploying your Transformer models on Apple devices with an A14 or newer and M1 or newer chip to achieve up to 10 times faster and 14 times lower peak memory consumption compared to baseline implementations.

https://github.com/apple/ml-ane-transformers

当下，最火爆的科技产品莫非 OpenAI 的 ChatGPT，而领导这一切的是他们的 CTO -- Mira Murati。关于她的报道并不多，Fast Company 最近发布了一篇她的详细介绍。

https://t.me/tms_ur_way/2618

模块化笔记本电脑 Framework 发布新的 Framework 16 系列，除了延续之前的设计以外，还增加了显卡模块和几乎可以无限拓展的信号输入模块：

it also brings in two new module ecosystems: a fully reconfigurable input deck and modular, upgradeable graphics.

https://frame.work/fr/fr/blog/introducing-the-framework-laptop-16

使用 pinecone 这个向量型数据库存储 embedding 数据，作为 ChatGPT API 的自定义知识库。

https://github.com/pinecone-io/examples/blob/master/generation/chatgpt/plugins/langchain-docs-plugin.ipynb

摩尔定律之父去世

https://www.intel.com/content/www/us/en/newsroom/news/gordon-moore-obituary.html

Databricks 开放了基于 Alpaca 的 Dolly，单个集群 (single-node cluster with node type having 8 A100 GPUs) 三小时可以完成训练

https://github.com/databrickslabs/dolly

但是对公司而言，让自己跑得更快远比让竞争对手跑得慢一点更重要。所以大部分情况下保密措施应该是以不伤害效率为前提的。对用户数据的保密除外，但是保护用户数据的措施通常不会影响到大部分人的工作效率。

理论上这些都可以被滥用或者误用，但是滥用往往缺乏动机，误用可以从设计上避免。一个大原则是风险可控或可逆的事情默认是没有流程的，只有实际发生了问题，证明必要时才会靠引入流程来解决。有了流程就需要有人审批有人执行，如果它解决的问题不常发生、有其他方案或者产生的危害不如流程带来的成本，那么设立流程就是不理性的。

有的比较卷的团队为了控制代码的复杂度，还把自己 code base 的行数上限放到了测试里。如果有人增加了 10 行代码，就需要重构其他地方的代码来省出 10 行，或者提供一个好的理由来提高上限。

除了日常的 code review 外，每个新员工会需要学习公司的代码规范，并通过工作中会用到的每个语言的可读性 review。方式是准备一个百行以上的 changelist，提交给一个有资格做 readability review 的工程师，通过之后才有权限提交用在生产环境的代码。

所以 Google 把版本管理完全倒了过来，每个项目/组件都只要维护一个最新版，所有的改动最重要的原则是不能破坏任何测试。所以如果有人在一个共享组件里做了向前不兼容的改动，就会需要在同一个 changelist 里把整个代码库里所有调用到这个接口的地方改过来。

GWS 每周会做一次 binary push，也就是二进制文件的发布。流程是每周一早上负责发布的工程师从当前的代码做一个发布分支编译出一个二进制文件，交给 QA 开始测试，发现 bug 就把修复 cherry pick 到发布分支。

https://1byte.io/google-large-scale-dev/

一些朋友们做的技术频道，大家可以按需订阅：

https://t.me/sannsaku

https://t.me/amneumarkt

https://t.me/foreseaz_collection

https://t.me/LinghaoCh

微软发布了一整条基于 LLM 的开发链：

Semantic Kernel (SK) is a lightweight SDK enabling integration of AI Large Language Models (LLMs) with conventional programming languages. The SK extensible programming model combines natural language semantic functions, traditional code native functions, and embeddings-based memory unlocking new potential and adding value to applications with AI.

https://github.com/microsoft/semantic-kernel

关于 Apple neural engine 的细节

https://github.com/hollance/neural-engine

一个极其详尽的 ML 工程资源

https://madewithml.com/

利用 ChatGPT API 来总结 Sam Altman 的访谈

https://reccap.it/recaps/sam-altman-openai-ceo-on-gpt-4-chatgpt-and-the-future-of-ai-lex-fridman-podcast--38c54630577d44a0b5423d623dccc254