一些中外的独立开发者，包括他们的作品和独立开发经历：

https://reorx.com/blog/indie-makers-im-following/

使用 postgres 的 pgvetor 插件来存储 embedding 数据，作为 LLM 的输入。

https://supabase.com/blog/openai-embeddings-postgres-vector

最近又被拉着写 prompt。大前提是，隔壁组的数据出了问题，他们期望用 ChatGPT API 来批量清洗数据，他们在 ChatGPT UI 上做了测试，然后丢到我们手上。

我了解了需求之后，没看他们的 prompt，直接凭经验开始做各种尝试，最后试出了一个还不错的 prompt。于是封装成函数之后，交给后端的同事集成到流水线上。

我们跑了一小批数据，结果还不错，但是对照着隔壁组的要求，似乎不完全一致。于是后端同事直接把隔壁组的 prompt 搬进流水线里，又测试了一遍，结果和 ChatGPT UI 上的结果完全不一样。我们猜测是因为 ChatGPT UI 上还有一些后处理的逻辑。又测试了一些 prompts 之后，最后还是我提供的 prompts 效果最好。

Takeaways:

1. ChatGPT UI 和 ChatGPT API 的 prompts 不完全一致，前者有后处理逻辑，后者应该是模型直接的输出结果；
2. prompts 的确需要不断地尝试，所以 prompt engineering 可能真的是一门学问。

论如何写 prompts 的重要性：

https://twitter.com/cydiar404/status/1640399013345214479

读了一遍 repo 里所有的文档，有些很有意思的点：

1. Apple Neural Engine (ANE) 是和 CPU/GPU 不一样的计算核心，专门用来处理神经网络的计算。理想的情况下，最好把所有神经网络的计算任务交给 ANE，而不是 CPU 或者 GPU；

2. 但是呢，我们无法强制指定任务给 ANE，只能告诉任务去尝试使用 ANE。大体的原因是因为，不是所有的 layer 都可以在 ANE 里计算。Core ML 会把合适的 layer 放在 ANE 里计算，把不合适的放在 CPU 或者 GPU 里计算；

3. 也就是说 Core ML 会自行判断具体的 layer 调用哪个计算核心，CPU / GPU / ANE，所以开发者只能不断尝试，将不支持的 layer 替换成支持 ANE 的 layer。

湾区日报恢复更新了。，只剩这个网站了，iOS app 什么的都没有了。

https://www.wanqu.co/

斯坦福开源了一个机械手臂方案，可以做非常精确的操作，比如从钱包里取出证件，用乒乓球拍颠球等等

https://twitter.com/tonyzzhao/status/1640393026341322754

两个德国开发者用 Rust 写了一套可以取代 LaTex 的方案。真是厉害，还自己写了从 Typst 生成 PDF 的库。

https://t.me/tms_ur_way/2633

gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue

demo 是在一台 M1 的 Mac 上跑的，输出非常快

https://github.com/nomic-ai/gpt4all

用 ChatGPT API 来辅助解析抓取下来的网页，只要 写 prompts 就能清洗数据。

想法是挺好的，不过这么调取 ChatGPT 估计跟贵吧？

https://github.com/Smyja/blackmaria/tree/main/blackmaria

Lighiting AI 发布了一个更小的 LLM 模型

https://github.com/Lightning-AI/lit-llama

一个人，一个 app，一亿下载量

https://t.me/tms_ur_way/2636

Guardrails is a Python package that lets a user add structure, type and quality guarantees to the outputs of large language models (LLMs)

At the heart of Guardrails is the rail spec. rail is intended to be a language-agnostic, human-readable format for specifying structure and type information, validators and corrective actions over LLM outputs.

https://github.com/ShreyaR/guardrails

一个人，一个工具，能卖50万美金

https://t.me/tms_ur_way/2638

Stable Diffusion 推出了在线的图片编辑器

https://beta.dreamstudio.ai/

Attention is Turing Complete

https://www.jmlr.org/papers/volume22/20-302/20-302.pdf

#ml #paper

一位 Call of Duty 开发者的软硬件装备：

https://usesthis.com/interviews/christina.pollock/

Twitter 开源了它的推进算法

https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm

https://github.com/twitter/the-algorithm-ml

#ml #open

在 Figma 内使用 ChatGPT

https://www.olexdsgn.com/figgpt

Apple 官方发布的 stable diffusion on Core ML wrapper，生成速度堪比 3080

https://github.com/apple/ml-stable-diffusion

使用 mmap() 之后，30B 的 LLM 只用到了不到6G内存

具体原理是：每次的调用不需要使用到所有的 weights，所以使用 lazy loading 可以大大减少内存的消耗。

https://github.com/ggerganov/llama.cpp/discussions/638?sort=top#discussioncomment-5492916