在 m1 pro 上同时运行 LLaMA 7B & Whisper 的模型，可以看到速度非常快，基本上已经可以基于这两者来构建本地的 LLM 应用了。

本地意味着可以构建离线的 LLM 应用，并且在未来本地算力继续提升 & 模型持续优化的前提下，推理速度和生成效果会越来越快，这是闭源大模型（OpenAI）做不到的。

另一个脑洞，去中心化推理又变得可行了，借助闲置算力来作为别人 LLM 的推理服务，如果能解决隐私的问题，decentralized LLM inference network 还是有可能做到的。（之前的一些打着去中心化训练大模型的项目基本上可以理解为骗子项目）

购买 m1 pro 的理由又多了一个。

https://twitter.com/ggerganov/status/1634320862722551809

basaran 这个项目可以让你对比 OpenAI 和其他 LLM 的生成效果。

https://github.com/hyperonym/basaran

A Comprehensive Survey of AI-Generated Content (AIGC):
A History of Generative AI from GAN to ChatGPT

这篇论文介绍了生成式 AI（Generative AI）的一些历史，从 GAN 到 ChatGPT 的整个发展路径。

偏学术一点的介绍，各方面都有涉及，想要深入研究也有接近 300 篇引用可以继续探索。

https://arxiv.org/abs/2303.04226

这篇文章详细介绍了如何在 m2 的 macbook 上运行 llama.cpp

作者分别测试了 7B 和 13B 参数的版本

配置:

> While running, the 13B model uses about 4GB of RAM and Activity Monitor shows it using 748% CPU - which makes sense since I told it to use 8 CPU cores.

https://til.simonwillison.net/llms/llama-7b-m2

Stable Diffusion 的科普贴

介绍了原理 -> 训练 -> 推理的过程

https://learnopencv.com/stable-diffusion-generative-ai/

在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型

虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。

LLM 的 Stable Diffusion 时刻已经到来。

https://twitter.com/miolini/status/1634982361757790209

llama.cpp 现在已经支持对话模式了

效果上应该和 ChatGPT 还有一定的差距。

代码：https://github.com/ggerganov/llama.cpp

https://twitter.com/ggerganov/status/1635029136921214977

OpenAI 刚刚发布了GPT-4

稍后我会整理一下相关的信息（目前看起来是可以直接在 ChatGPT Plus 中使用这个模型）。

https://openai.com/research/gpt-4

实时更新 GPT-4 的一些信息

https://twitter.com/Tisoga/status/1635696124324630529

用 GPT-4 来阅读 GPT-4 的论文

研究 GPT-4 的一些笔记，欢迎分享

用 GPT-4 实现的 GPTLang 的解释器

https://github.com/forrestchang/gptlang

Peter Thiel 在《从零到一》这本书中提到：

创业者应该追求创造独特的市场，而不是只在现有市场上竞争，这意味着要创造一些新的东西，而不只是复制别人已经做过的事情。这需要创业者有勇气和创造力，但如果能够成功，就可以创造出真正有价值的公司。

可以在 Copilot Hub 上体验到 Sam Altman 这个 AI

https://app.copilothub.co/home

Google 基于 PaLM API 的产品：AI Test Kitchen

体验报告：
https://twitter.com/xinqiu_bot/status/1635923410097405954

Midjourney V4 和 V5 的效果对比

https://twitter.com/storybyphil/status/1636135645817995266

在 M2 的 Macbook Air 上进行 LLaMA 7B 模型的本地推理 🤯

虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。

项目地址：https://github.com/antimatter15/alpaca.cpp

让 GPT-4 自动修复代码

一段包含错误的 Python 代码 -> 运行 -> 报错 -> GPT-4 修复 -> 运行 -> 报错 -> GPT-4 修复 -> 成功运行

自监督 debugging

https://twitter.com/i/status/1636880208304431104

https://twitter.com/bio_bootloader/status/1636880208304431104

在 Google Pixel 7 Pro 上运行 LLaMA 7B 的模型

现在 LLaMA 已经在以下设备上运行过了：

- Macbook M1 & M2
- 树莓派
- Google Pixel 7 Pro

https://twitter.com/rupeshsreeraman/status/1637124688290742276

复现 Stanford Alpaca InstructLLaMA 的代码库

https://github.com/tloen/alpaca-lora