这篇文章详细介绍了如何在 m2 的 macbook 上运行 llama.cpp
作者分别测试了 7B 和 13B 参数的版本
配置:
> While running, the 13B model uses about 4GB of RAM and Activity Monitor shows it using 748% CPU - which makes sense since I told it to use 8 CPU cores.
https://til.simonwillison.net/llms/llama-7b-m2
作者分别测试了 7B 和 13B 参数的版本
配置:
> While running, the 13B model uses about 4GB of RAM and Activity Monitor shows it using 748% CPU - which makes sense since I told it to use 8 CPU cores.
https://til.simonwillison.net/llms/llama-7b-m2
Simon Willison’s TILs
Running LLaMA 7B and 13B on a 64GB M2 MacBook Pro with llama.cpp
See also: Large language models are having their Stable Diffusion moment right now .
👍6
在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型
虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。
LLM 的 Stable Diffusion 时刻已经到来。
https://twitter.com/miolini/status/1634982361757790209
虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。
LLM 的 Stable Diffusion 时刻已经到来。
https://twitter.com/miolini/status/1634982361757790209
X (formerly Twitter)
Artem Andreenko (@miolini) on X
I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware.
🔥8❤1
llama.cpp 现在已经支持对话模式了
效果上应该和 ChatGPT 还有一定的差距。
代码：https://github.com/ggerganov/llama.cpp
https://twitter.com/ggerganov/status/1635029136921214977
效果上应该和 ChatGPT 还有一定的差距。
代码：https://github.com/ggerganov/llama.cpp
https://twitter.com/ggerganov/status/1635029136921214977
🥰8👍3❤1
👍3
Peter Thiel 在《从零到一》这本书中提到：
创业者应该追求创造独特的市场，而不是只在现有市场上竞争，这意味着要创造一些新的东西，而不只是复制别人已经做过的事情。这需要创业者有勇气和创造力，但如果能够成功，就可以创造出真正有价值的公司。
可以在 Copilot Hub 上体验到 Sam Altman 这个 AI
https://app.copilothub.co/home
创业者应该追求创造独特的市场，而不是只在现有市场上竞争，这意味着要创造一些新的东西，而不只是复制别人已经做过的事情。这需要创业者有勇气和创造力，但如果能够成功，就可以创造出真正有价值的公司。
可以在 Copilot Hub 上体验到 Sam Altman 这个 AI
https://app.copilothub.co/home
👍13❤1🥰1
Google 基于 PaLM API 的产品：AI Test Kitchen
体验报告：
https://twitter.com/xinqiu_bot/status/1635923410097405954
体验报告：
https://twitter.com/xinqiu_bot/status/1635923410097405954
🥰3❤1
🥰3❤2
Media is too big
VIEW IN TELEGRAM
在 M2 的 Macbook Air 上进行 LLaMA 7B 模型的本地推理 🤯
虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。
项目地址：https://github.com/antimatter15/alpaca.cpp
虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。
项目地址：https://github.com/antimatter15/alpaca.cpp
❤11👎1
让 GPT-4 自动修复代码
一段包含错误的 Python 代码 -> 运行 -> 报错 -> GPT-4 修复 -> 运行 -> 报错 -> GPT-4 修复 -> 成功运行
自监督 debugging
https://twitter.com/i/status/1636880208304431104
https://twitter.com/bio_bootloader/status/1636880208304431104
一段包含错误的 Python 代码 -> 运行 -> 报错 -> GPT-4 修复 -> 运行 -> 报错 -> GPT-4 修复 -> 成功运行
自监督 debugging
https://twitter.com/i/status/1636880208304431104
https://twitter.com/bio_bootloader/status/1636880208304431104
❤7
在 Google Pixel 7 Pro 上运行 LLaMA 7B 的模型
现在 LLaMA 已经在以下设备上运行过了：
- Macbook M1 & M2
- 树莓派
- Google Pixel 7 Pro
https://twitter.com/rupeshsreeraman/status/1637124688290742276
现在 LLaMA 已经在以下设备上运行过了：
- Macbook M1 & M2
- 树莓派
- Google Pixel 7 Pro
https://twitter.com/rupeshsreeraman/status/1637124688290742276
👍23👎6❤4🎉3🔥2🥰2
Copilot Hub 现在正式发布了，并开放了自定义创建 Copilot 的能力
https://twitter.com/Tisoga/status/1640261647267938304
欢迎加入中文用户讨论组：https://t.me/+9oanfbRm-hxiYTA1
https://twitter.com/Tisoga/status/1640261647267938304
欢迎加入中文用户讨论组：https://t.me/+9oanfbRm-hxiYTA1
👍14❤3🥰1
朋友们非常抱歉，最近一周多一直在忙着迭代 Copilot Hub，没有分出精力来更新这个频道，这个周末参加完 Hackathon 后，下周会重新开始更新。
这个频道后面不太想仅仅只做汇总信息，想做点不太一样的（具体还没构思好，评论区也可以讨论讨论）。
另外这个频道永远不会收费（不靠这个赚钱），不当信息差的镰刀，如果想要支持我们，可以去体验我们产品。
https://app.copilothub.co/
大家周末愉快😄
这个频道后面不太想仅仅只做汇总信息，想做点不太一样的（具体还没构思好，评论区也可以讨论讨论）。
另外这个频道永远不会收费（不靠这个赚钱），不当信息差的镰刀，如果想要支持我们，可以去体验我们产品。
https://app.copilothub.co/
大家周末愉快😄
👍50❤12🎉4🥰2