Meta 的大语言模型 LLaMA 的论文解读（作者为开源版 ChatGPT Open-Assistant 的作者）
论文地址：https://arxiv.org/abs/2302.13971
https://youtu.be/E5OnoYF2oAk
论文地址：https://arxiv.org/abs/2302.13971
https://youtu.be/E5OnoYF2oAk
YouTube
LLaMA: Open and Efficient Foundation Language Models (Paper Explained)
#ai #meta #languagemodel
LLaMA is a series of large language models from 7B to 65B parameters, trained by Meta AI. They train for longer on more data and show that something like gpt-3 can be outperformed by significantly smaller models when trained like…
LLaMA is a series of large language models from 7B to 65B parameters, trained by Meta AI. They train for longer on more data and show that something like gpt-3 can be outperformed by significantly smaller models when trained like…
👍4🥰1
Quora 发布了桌面版的 Poe，集成了 ChatGPT, Sage, Claude 等 AI bot，不需要输入 API Key，整体的交互体验也非常流畅。
如果想要在 ChatGPT 模型上层开发 IM 应用，是一个很好地参考。
https://poe.com/chatgpt
如果想要在 ChatGPT 模型上层开发 IM 应用，是一个很好地参考。
https://poe.com/chatgpt
👍9🤯8🔥3❤1
这张图很形象地描述了 ChatGPT 背后涉及到的 3 个主要的步骤：
1. 自监督学习 (基于文本自动生成的输入-输出对)
2. 监督学习 (基于特定 task 的 fine-tuning)
3. RLHF (人类反馈强化学习)
具体解释可以参考这个 thread：https://twitter.com/hlntnr/status/1632030583462285312
1. 自监督学习 (基于文本自动生成的输入-输出对)
2. 监督学习 (基于特定 task 的 fine-tuning)
3. RLHF (人类反馈强化学习)
具体解释可以参考这个 thread：https://twitter.com/hlntnr/status/1632030583462285312
👍6👏4
Stanford MLSys 系列研讨会视频合集
设计到 ML 领域大量的主题和技巧，例如最近几期讨论了很多生成式 AI & LLM 相关的内容。
https://www.youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq
设计到 ML 领域大量的主题和技巧，例如最近几期讨论了很多生成式 AI & LLM 相关的内容。
https://www.youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq
👍1
Flan-UL2 200 亿参数的模型体验 Notebook
测试了 CoT, Zeroshot, large token input 下的效果，最后给了一个 huggingface 的推理 API，方便不能本地推理的同学体验。
https://colab.research.google.com/drive/1ZqSUmrDrSK1D4GcBCwICqr3fJLijZE9_?usp=sharing#scrollTo=5zsGtg0f9W84
测试了 CoT, Zeroshot, large token input 下的效果，最后给了一个 huggingface 的推理 API，方便不能本地推理的同学体验。
https://colab.research.google.com/drive/1ZqSUmrDrSK1D4GcBCwICqr3fJLijZE9_?usp=sharing#scrollTo=5zsGtg0f9W84
Google
Flan-UL2 Inference.ipynb
Colaboratory notebook
👍1
Meta LLaMA 模型的权重已经在 torrent 上泄漏了，没有拿到内测的朋友可以直接去 BT 上下载（未经过验证）。
另外我们团队已经成功部署了 LLaMA，初步的结论是 7B 参数的模型和 GPT-3/3.5 比起来还有一些差距，对于经过了 RLHF 优化的 ChatGPT 模型来说差距比较明显。
但是开源模型的一个好处是会汇集大量的开发者在上层做二次、三次开发，参考 Stable Diffsion 现在的发展生态，所以目前来看还处在一个比较早期的阶段，先让子弹飞一会儿。
另外这也给了一些 startup 进入大模型领域的机会，在开源模型上层做 fine-tuning & RLHF。
https://twitter.com/amasad/status/1631700069488660480
另外我们团队已经成功部署了 LLaMA，初步的结论是 7B 参数的模型和 GPT-3/3.5 比起来还有一些差距，对于经过了 RLHF 优化的 ChatGPT 模型来说差距比较明显。
但是开源模型的一个好处是会汇集大量的开发者在上层做二次、三次开发，参考 Stable Diffsion 现在的发展生态，所以目前来看还处在一个比较早期的阶段，先让子弹飞一会儿。
另外这也给了一些 startup 进入大模型领域的机会，在开源模型上层做 fine-tuning & RLHF。
https://twitter.com/amasad/status/1631700069488660480
X (formerly Twitter)
Amjad Masad (@amasad) on X
Meta’s LLaMa weights leaked on torrent and someone put up a PR to replace the google form in the repo with it 😂
👍5🔥3👎1
👍8❤3💩1
一个基于 LangChain 的项目：通过 ChatGPT 来搜索和总结论文
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
👍14
使用 GLIGEN 可以在 Stable Diffusion 生成中指定目标的位置
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo
使用 GitHub Copilot 进行文学编程
关于文学编程：https://zh.wikipedia.org/wiki/%E6%96%87%E5%AD%A6%E7%BC%96%E7%A8%8B
https://twitter.com/meekaale/status/1632508948703002624
关于文学编程：https://zh.wikipedia.org/wiki/%E6%96%87%E5%AD%A6%E7%BC%96%E7%A8%8B
https://twitter.com/meekaale/status/1632508948703002624
👍7
LLaMA 65B 的模型可以在 mac 上进行本地推理了
配置：m1 max 64gb
https://twitter.com/lawrencecchen/status/1634507648824676353
配置：m1 max 64gb
https://twitter.com/lawrencecchen/status/1634507648824676353
❤4
MathPrompter: Mathematical Reasoning using Large Language Models
月初 ms research 发布的这篇论文很有意思，我们都知道 LLM 目前对于逻辑推理和数值计算还不是特别擅长。这篇论文中提到的一个方法是使用 zero shot COT (chain of thought) + verification 的方法来保证数值计算结果的准确性。
我觉得做数值计算可能只是一部分，更重要的是揭示了如何让 LLM 去处理一个需要精确化输出的 task，例如生成 error-free 的代码，或者调用外部的 api。
本质上是 prompt engineering 的一种。
https://arxiv.org/abs/2303.05398v1
月初 ms research 发布的这篇论文很有意思，我们都知道 LLM 目前对于逻辑推理和数值计算还不是特别擅长。这篇论文中提到的一个方法是使用 zero shot COT (chain of thought) + verification 的方法来保证数值计算结果的准确性。
我觉得做数值计算可能只是一部分，更重要的是揭示了如何让 LLM 去处理一个需要精确化输出的 task，例如生成 error-free 的代码，或者调用外部的 api。
本质上是 prompt engineering 的一种。
https://arxiv.org/abs/2303.05398v1
👍6🥰1
在 m1 pro 上同时运行 LLaMA 7B & Whisper 的模型，可以看到速度非常快，基本上已经可以基于这两者来构建本地的 LLM 应用了。
本地意味着可以构建离线的 LLM 应用，并且在未来本地算力继续提升 & 模型持续优化的前提下，推理速度和生成效果会越来越快，这是闭源大模型（OpenAI）做不到的。
另一个脑洞，去中心化推理又变得可行了，借助闲置算力来作为别人 LLM 的推理服务，如果能解决隐私的问题，decentralized LLM inference network 还是有可能做到的。（之前的一些打着去中心化训练大模型的项目基本上可以理解为骗子项目）
购买 m1 pro 的理由又多了一个。
https://twitter.com/ggerganov/status/1634320862722551809
本地意味着可以构建离线的 LLM 应用，并且在未来本地算力继续提升 & 模型持续优化的前提下，推理速度和生成效果会越来越快，这是闭源大模型（OpenAI）做不到的。
另一个脑洞，去中心化推理又变得可行了，借助闲置算力来作为别人 LLM 的推理服务，如果能解决隐私的问题，decentralized LLM inference network 还是有可能做到的。（之前的一些打着去中心化训练大模型的项目基本上可以理解为骗子项目）
购买 m1 pro 的理由又多了一个。
https://twitter.com/ggerganov/status/1634320862722551809
X (formerly Twitter)
Georgi Gerganov (@ggerganov) on X
Simultaneously running LLaMA-7B (left) + Whisper Small (right) on M1 Pro
👍20🥰3❤1