Meta 的大语言模型 LLaMA 的论文解读（作者为开源版 ChatGPT Open-Assistant 的作者）
论文地址：https://arxiv.org/abs/2302.13971
https://youtu.be/E5OnoYF2oAk
论文地址：https://arxiv.org/abs/2302.13971
https://youtu.be/E5OnoYF2oAk
YouTube
LLaMA: Open and Efficient Foundation Language Models (Paper Explained)
#ai #meta #languagemodel
LLaMA is a series of large language models from 7B to 65B parameters, trained by Meta AI. They train for longer on more data and show that something like gpt-3 can be outperformed by significantly smaller models when trained like…
LLaMA is a series of large language models from 7B to 65B parameters, trained by Meta AI. They train for longer on more data and show that something like gpt-3 can be outperformed by significantly smaller models when trained like…
👍4🥰1
Quora 发布了桌面版的 Poe，集成了 ChatGPT, Sage, Claude 等 AI bot，不需要输入 API Key，整体的交互体验也非常流畅。
如果想要在 ChatGPT 模型上层开发 IM 应用，是一个很好地参考。
https://poe.com/chatgpt
如果想要在 ChatGPT 模型上层开发 IM 应用，是一个很好地参考。
https://poe.com/chatgpt
👍9🤯8🔥3❤1
这张图很形象地描述了 ChatGPT 背后涉及到的 3 个主要的步骤：
1. 自监督学习 (基于文本自动生成的输入-输出对)
2. 监督学习 (基于特定 task 的 fine-tuning)
3. RLHF (人类反馈强化学习)
具体解释可以参考这个 thread：https://twitter.com/hlntnr/status/1632030583462285312
1. 自监督学习 (基于文本自动生成的输入-输出对)
2. 监督学习 (基于特定 task 的 fine-tuning)
3. RLHF (人类反馈强化学习)
具体解释可以参考这个 thread：https://twitter.com/hlntnr/status/1632030583462285312
👍6👏4
Stanford MLSys 系列研讨会视频合集
设计到 ML 领域大量的主题和技巧，例如最近几期讨论了很多生成式 AI & LLM 相关的内容。
https://www.youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq
设计到 ML 领域大量的主题和技巧，例如最近几期讨论了很多生成式 AI & LLM 相关的内容。
https://www.youtube.com/playlist?list=PLSrTvUm384I9PV10koj_cqit9OfbJXEkq
👍1
Flan-UL2 200 亿参数的模型体验 Notebook
测试了 CoT, Zeroshot, large token input 下的效果，最后给了一个 huggingface 的推理 API，方便不能本地推理的同学体验。
https://colab.research.google.com/drive/1ZqSUmrDrSK1D4GcBCwICqr3fJLijZE9_?usp=sharing#scrollTo=5zsGtg0f9W84
测试了 CoT, Zeroshot, large token input 下的效果，最后给了一个 huggingface 的推理 API，方便不能本地推理的同学体验。
https://colab.research.google.com/drive/1ZqSUmrDrSK1D4GcBCwICqr3fJLijZE9_?usp=sharing#scrollTo=5zsGtg0f9W84
Google
Flan-UL2 Inference.ipynb
Colaboratory notebook
👍1
Meta LLaMA 模型的权重已经在 torrent 上泄漏了，没有拿到内测的朋友可以直接去 BT 上下载（未经过验证）。
另外我们团队已经成功部署了 LLaMA，初步的结论是 7B 参数的模型和 GPT-3/3.5 比起来还有一些差距，对于经过了 RLHF 优化的 ChatGPT 模型来说差距比较明显。
但是开源模型的一个好处是会汇集大量的开发者在上层做二次、三次开发，参考 Stable Diffsion 现在的发展生态，所以目前来看还处在一个比较早期的阶段，先让子弹飞一会儿。
另外这也给了一些 startup 进入大模型领域的机会，在开源模型上层做 fine-tuning & RLHF。
https://twitter.com/amasad/status/1631700069488660480
另外我们团队已经成功部署了 LLaMA，初步的结论是 7B 参数的模型和 GPT-3/3.5 比起来还有一些差距，对于经过了 RLHF 优化的 ChatGPT 模型来说差距比较明显。
但是开源模型的一个好处是会汇集大量的开发者在上层做二次、三次开发，参考 Stable Diffsion 现在的发展生态，所以目前来看还处在一个比较早期的阶段，先让子弹飞一会儿。
另外这也给了一些 startup 进入大模型领域的机会，在开源模型上层做 fine-tuning & RLHF。
https://twitter.com/amasad/status/1631700069488660480
X (formerly Twitter)
Amjad Masad (@amasad) on X
Meta’s LLaMa weights leaked on torrent and someone put up a PR to replace the google form in the repo with it 😂
👍5🔥3👎1
👍8❤3💩1
一个基于 LangChain 的项目：通过 ChatGPT 来搜索和总结论文
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
代码：https://github.com/whitead/paper-qa
https://twitter.com/andrewwhite01/status/1629346569756483584
👍14
使用 GLIGEN 可以在 Stable Diffusion 生成中指定目标的位置
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo
配合 Control Net 基本上可以实现图片生成的精细化控制。
论文：https://gligen.github.io/
Demo: https://huggingface.co/spaces/gligen/demo