[译] 如何训练一个企业级 GPT 助手（OpenAI，2023）
http://arthurchiao.art/blog/how-to-train-a-gpt-assistant-zh/
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
http://arthurchiao.art/blog/llm-inference-speed-zh/
http://arthurchiao.art/blog/how-to-train-a-gpt-assistant-zh/
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
http://arthurchiao.art/blog/llm-inference-speed-zh/
ArthurChiao's Blog
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
本文翻译自 2024 年的一篇文章： LLM inference speed of light， 分析了大模型推理的速度瓶颈及量化评估方式，并给出了一些实测数据（我们在国产模型上的实测结果也大体吻合）， 对理解大模型推理内部工作机制和推理优化较有帮助。
👍1
Forwarded from Newlearnerの自留地 (Shigeru)
#Browser #Tools
🛞 Elmo：开箱即用的 AI Chrome 拓展
🔗 Web | Chrome Web Store
ℹ️ 关于 Elmo
- 由原阿里巴巴技术副总裁 贾扬清 创立的 Lepton AI 团队打造的一款 Chrome 拓展；
- 完全免费，无需账号，开箱即用。「Elmo 是你的 AI 网络助手，帮助你提取总结、发掘洞见，并拓展你的知识」。
✨ 功能亮点
- 快速总结网页内容并生成要点，适合需要快速获取信息或者大致了解主题的用户；
- 针对当前网页内容提出问题并获取答案，节省搜索资料所花费的时间和精力；
- 无需离开当前页面，从网络上抓取与关键词相关的信息并无缝融入到你的浏览体验中；
- 把 PDF 或者 YouTube 当成 Chatbot 一样进行提问对话，让你在处理大量文本或者理解晦涩视频时更加轻松；
- 除此之外，Elmo 还支持翻译、改写等功能。
👀 我的看法
在一则 推文 中，Lepton AI 团队的创始人贾扬清提到创建 Elmo 的缘由：「因为我们深信开源模型的力量至今仍被严重低估。Elmo 完全建立在开源 LLM 的基础上，如果使用得当，开源模型能够提高出乎意料的优秀性能，并且可高度自定义——这对于企业来说是非常有帮助的」。从这个角度上来说，Elmo 跟 Lepton AI、ChatGPT 跟 OpenAI 的关系颇为相似。如果你正在寻找一款开箱即用、完全免费的 AI 拓展，那么不妨来试试 Elmo。
P.S. 由于 Elmo 运行在浏览器的侧边栏（sidepanel）中，而 Arc 浏览器目前还不支持侧边栏 API，因此使用 Arc 浏览器的用户暂时无法体验 Elmo。
📁 本文首发于 Humanitech 频道，图文版见 小红书。
频道：@NewlearnerChannel
🛞 Elmo：开箱即用的 AI Chrome 拓展
🔗 Web | Chrome Web Store
ℹ️ 关于 Elmo
- 由原阿里巴巴技术副总裁 贾扬清 创立的 Lepton AI 团队打造的一款 Chrome 拓展；
- 完全免费，无需账号，开箱即用。「Elmo 是你的 AI 网络助手，帮助你提取总结、发掘洞见，并拓展你的知识」。
✨ 功能亮点
- 快速总结网页内容并生成要点，适合需要快速获取信息或者大致了解主题的用户；
- 针对当前网页内容提出问题并获取答案，节省搜索资料所花费的时间和精力；
- 无需离开当前页面，从网络上抓取与关键词相关的信息并无缝融入到你的浏览体验中；
- 把 PDF 或者 YouTube 当成 Chatbot 一样进行提问对话，让你在处理大量文本或者理解晦涩视频时更加轻松；
- 除此之外，Elmo 还支持翻译、改写等功能。
👀 我的看法
在一则 推文 中，Lepton AI 团队的创始人贾扬清提到创建 Elmo 的缘由：「因为我们深信开源模型的力量至今仍被严重低估。Elmo 完全建立在开源 LLM 的基础上，如果使用得当，开源模型能够提高出乎意料的优秀性能，并且可高度自定义——这对于企业来说是非常有帮助的」。从这个角度上来说，Elmo 跟 Lepton AI、ChatGPT 跟 OpenAI 的关系颇为相似。如果你正在寻找一款开箱即用、完全免费的 AI 拓展，那么不妨来试试 Elmo。
P.S. 由于 Elmo 运行在浏览器的侧边栏（sidepanel）中，而 Arc 浏览器目前还不支持侧边栏 API，因此使用 Arc 浏览器的用户暂时无法体验 Elmo。
📁 本文首发于 Humanitech 频道，图文版见 小红书。
频道：@NewlearnerChannel
❤1👍1
GlobalThreatReport2024.pdf
4 MB
#行业报告
CrowdStrike 2024年全球威胁报告强调了网络攻击的速度和猛烈程度不断加快，同时指出低技能对手利用生成性AI降低攻击门槛，使得攻击更加复杂和尖端。报告突出了云环境的安全性受到威胁，身份认证攻击和社交工程攻击的持续利用，以及合法工具被用于执行攻击的日益普遍。此外，报告还提到了供应链攻击的增长，以及对全球选举潜在目标的威胁。CrowdStrike的CEO和联合创始人George Kurtz强调了以对手为中心的网络安全概念的重要性，并介绍了AI原生的CrowdStrike Falcon® XDR平台，该平台通过数据、网络安全和IT的融合，以及内置的生成性AI和工作流自动化，为组织提供了快速应对对手所需的速度。报告还详细介绍了2023年的网络威胁格局，包括eCrime的持续流行、国家支持的对手活动、以及特定地区冲突对网络活动的影响。
CrowdStrike 2024年全球威胁报告强调了网络攻击的速度和猛烈程度不断加快，同时指出低技能对手利用生成性AI降低攻击门槛，使得攻击更加复杂和尖端。报告突出了云环境的安全性受到威胁，身份认证攻击和社交工程攻击的持续利用，以及合法工具被用于执行攻击的日益普遍。此外，报告还提到了供应链攻击的增长，以及对全球选举潜在目标的威胁。CrowdStrike的CEO和联合创始人George Kurtz强调了以对手为中心的网络安全概念的重要性，并介绍了AI原生的CrowdStrike Falcon® XDR平台，该平台通过数据、网络安全和IT的融合，以及内置的生成性AI和工作流自动化，为组织提供了快速应对对手所需的速度。报告还详细介绍了2023年的网络威胁格局，包括eCrime的持续流行、国家支持的对手活动、以及特定地区冲突对网络活动的影响。