一个基于 LangChain 的项目：通过 ChatGPT 来搜索和总结论文
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
👍14
使用 GLIGEN 可以在 Stable Diffusion 生成中指定目标的位置
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo
使用 GitHub Copilot 进行文学编程
关于文学编程：https://zh.wikipedia.org/wiki/%E6%96%87%E5%AD%A6%E7%BC%96%E7%A8%8B
https://twitter.com/meekaale/status/1632508948703002624
关于文学编程：https://zh.wikipedia.org/wiki/%E6%96%87%E5%AD%A6%E7%BC%96%E7%A8%8B
https://twitter.com/meekaale/status/1632508948703002624
👍7
LLaMA 65B 的模型可以在 mac 上进行本地推理了
配置：m1 max 64gb
https://twitter.com/lawrencecchen/status/1634507648824676353
配置：m1 max 64gb
https://twitter.com/lawrencecchen/status/1634507648824676353
❤4
MathPrompter: Mathematical Reasoning using Large Language Models
月初 ms research 发布的这篇论文很有意思，我们都知道 LLM 目前对于逻辑推理和数值计算还不是特别擅长。这篇论文中提到的一个方法是使用 zero shot COT (chain of thought) + verification 的方法来保证数值计算结果的准确性。
我觉得做数值计算可能只是一部分，更重要的是揭示了如何让 LLM 去处理一个需要精确化输出的 task，例如生成 error-free 的代码，或者调用外部的 api。
本质上是 prompt engineering 的一种。
https://arxiv.org/abs/2303.05398v1
月初 ms research 发布的这篇论文很有意思，我们都知道 LLM 目前对于逻辑推理和数值计算还不是特别擅长。这篇论文中提到的一个方法是使用 zero shot COT (chain of thought) + verification 的方法来保证数值计算结果的准确性。
我觉得做数值计算可能只是一部分，更重要的是揭示了如何让 LLM 去处理一个需要精确化输出的 task，例如生成 error-free 的代码，或者调用外部的 api。
本质上是 prompt engineering 的一种。
https://arxiv.org/abs/2303.05398v1
👍6🥰1
在 m1 pro 上同时运行 LLaMA 7B & Whisper 的模型，可以看到速度非常快，基本上已经可以基于这两者来构建本地的 LLM 应用了。
本地意味着可以构建离线的 LLM 应用，并且在未来本地算力继续提升 & 模型持续优化的前提下，推理速度和生成效果会越来越快，这是闭源大模型（OpenAI）做不到的。
另一个脑洞，去中心化推理又变得可行了，借助闲置算力来作为别人 LLM 的推理服务，如果能解决隐私的问题，decentralized LLM inference network 还是有可能做到的。（之前的一些打着去中心化训练大模型的项目基本上可以理解为骗子项目）
购买 m1 pro 的理由又多了一个。
https://twitter.com/ggerganov/status/1634320862722551809
本地意味着可以构建离线的 LLM 应用，并且在未来本地算力继续提升 & 模型持续优化的前提下，推理速度和生成效果会越来越快，这是闭源大模型（OpenAI）做不到的。
另一个脑洞，去中心化推理又变得可行了，借助闲置算力来作为别人 LLM 的推理服务，如果能解决隐私的问题，decentralized LLM inference network 还是有可能做到的。（之前的一些打着去中心化训练大模型的项目基本上可以理解为骗子项目）
购买 m1 pro 的理由又多了一个。
https://twitter.com/ggerganov/status/1634320862722551809
X (formerly Twitter)
Georgi Gerganov (@ggerganov) on X
Simultaneously running LLaMA-7B (left) + Whisper Small (right) on M1 Pro
👍20🥰3❤1
A Comprehensive Survey of AI-Generated Content (AIGC):
A History of Generative AI from GAN to ChatGPT
这篇论文介绍了生成式 AI（Generative AI）的一些历史，从 GAN 到 ChatGPT 的整个发展路径。
偏学术一点的介绍，各方面都有涉及，想要深入研究也有接近 300 篇引用可以继续探索。
https://arxiv.org/abs/2303.04226
A History of Generative AI from GAN to ChatGPT
这篇论文介绍了生成式 AI（Generative AI）的一些历史，从 GAN 到 ChatGPT 的整个发展路径。
偏学术一点的介绍，各方面都有涉及，想要深入研究也有接近 300 篇引用可以继续探索。
https://arxiv.org/abs/2303.04226
👍25🥰2🤯2
这篇文章详细介绍了如何在 m2 的 macbook 上运行 llama.cpp
作者分别测试了 7B 和 13B 参数的版本
配置:
> While running, the 13B model uses about 4GB of RAM and Activity Monitor shows it using 748% CPU - which makes sense since I told it to use 8 CPU cores.
https://til.simonwillison.net/llms/llama-7b-m2
作者分别测试了 7B 和 13B 参数的版本
配置:
> While running, the 13B model uses about 4GB of RAM and Activity Monitor shows it using 748% CPU - which makes sense since I told it to use 8 CPU cores.
https://til.simonwillison.net/llms/llama-7b-m2
Simon Willison’s TILs
Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp
See also: Large language models are having their Stable Diffusion moment right now .
👍6
在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型
虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。
LLM 的 Stable Diffusion 时刻已经到来。
https://twitter.com/miolini/status/1634982361757790209
虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。
LLM 的 Stable Diffusion 时刻已经到来。
https://twitter.com/miolini/status/1634982361757790209
X (formerly Twitter)
Artem Andreenko (@miolini) on X
I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware.
🔥8❤1
llama.cpp 现在已经支持对话模式了
效果上应该和 ChatGPT 还有一定的差距。
代码：https://github.com/ggerganov/llama.cpp
https://twitter.com/ggerganov/status/1635029136921214977
效果上应该和 ChatGPT 还有一定的差距。
代码：https://github.com/ggerganov/llama.cpp
https://twitter.com/ggerganov/status/1635029136921214977
🥰8👍3❤1
👍3