读了一遍 repo 里所有的文档，有些很有意思的点：

1. Apple Neural Engine (ANE) 是和 CPU/GPU 不一样的计算核心，专门用来处理神经网络的计算。理想的情况下，最好把所有神经网络的计算任务交给 ANE，而不是 CPU 或者 GPU；

2. 但是呢，我们无法强制指定任务给 ANE，只能告诉任务去尝试使用 ANE。大体的原因是因为，不是所有的 layer 都可以在 ANE 里计算。Core ML 会把合适的 layer 放在 ANE 里计算，把不合适的放在 CPU 或者 GPU 里计算；

3. 也就是说 Core ML 会自行判断具体的 layer 调用哪个计算核心，CPU / GPU / ANE，所以开发者只能不断尝试，将不支持的 layer 替换成支持 ANE 的 layer。

湾区日报恢复更新了。，只剩这个网站了，iOS app 什么的都没有了。

https://www.wanqu.co/

斯坦福开源了一个机械手臂方案，可以做非常精确的操作，比如从钱包里取出证件，用乒乓球拍颠球等等

https://twitter.com/tonyzzhao/status/1640393026341322754

两个德国开发者用 Rust 写了一套可以取代 LaTex 的方案。真是厉害，还自己写了从 Typst 生成 PDF 的库。

https://t.me/tms_ur_way/2633

gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue

demo 是在一台 M1 的 Mac 上跑的，输出非常快

https://github.com/nomic-ai/gpt4all

用 ChatGPT API 来辅助解析抓取下来的网页，只要 写 prompts 就能清洗数据。

想法是挺好的，不过这么调取 ChatGPT 估计跟贵吧？

https://github.com/Smyja/blackmaria/tree/main/blackmaria

Lighiting AI 发布了一个更小的 LLM 模型

https://github.com/Lightning-AI/lit-llama

一个人，一个 app，一亿下载量

https://t.me/tms_ur_way/2636

Guardrails is a Python package that lets a user add structure, type and quality guarantees to the outputs of large language models (LLMs)

At the heart of Guardrails is the rail spec. rail is intended to be a language-agnostic, human-readable format for specifying structure and type information, validators and corrective actions over LLM outputs.

https://github.com/ShreyaR/guardrails

一个人，一个工具，能卖50万美金

https://t.me/tms_ur_way/2638

Stable Diffusion 推出了在线的图片编辑器

https://beta.dreamstudio.ai/

Attention is Turing Complete

https://www.jmlr.org/papers/volume22/20-302/20-302.pdf

#ml #paper

一位 Call of Duty 开发者的软硬件装备：

https://usesthis.com/interviews/christina.pollock/

Twitter 开源了它的推进算法

https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm

https://github.com/twitter/the-algorithm-ml

#ml #open

在 Figma 内使用 ChatGPT

https://www.olexdsgn.com/figgpt

Apple 官方发布的 stable diffusion on Core ML wrapper，生成速度堪比 3080

https://github.com/apple/ml-stable-diffusion

使用 mmap() 之后，30B 的 LLM 只用到了不到6G内存

具体原理是：每次的调用不需要使用到所有的 weights，所以使用 lazy loading 可以大大减少内存的消耗。

https://github.com/ggerganov/llama.cpp/discussions/638?sort=top#discussioncomment-5492916

使用 prompt 直接生成 UI

http://literallyanything.io

一个开源的 diffusion app，利用了 Core ML，可以使用 Homebrew 安装


https://github.com/godly-devotion/MochiDiffusion

模型需单独下载，如果想利用 neural engine 的话，请下载 split_einsum 版本的模型

https://huggingface.co/coreml

记录了一下最近使用 Carrd 连接自定义 API 的经历。

Carrd 是由 AJ 一个人创建的建站服务，2016年发布之后，两年就达到了一百万美金的 ARR。

Carrd 非常容易上手，这次我们尝试使用一个 custom form 的功能，遇到了一些困难。中间遇到了一些困难。开了 ticket 之后，AJ 一直跟进，工作日基本上一小时内就有回复，休息日也会在24小时内回复。非常佩服他的响应速度！

https://letters.acacess.com/carrd-with-apis/

昨天在 Twitter 上总结了这篇文章的要点，并且 @ 了 AJ 表示感谢。没想到 AJ 顺手转发了这条 tweet，一天下来有3000多浏览

https://twitter.com/eiflesrd/status/1643158781952417794