Python Vercel LLM API:用于访问 Vercel AI Playground 上的各种语言模型的逆向工程API封装,包括 OpenAI 的 ChatGPT、Cohere 的 Command Nightly 以及一些开源模型
用KV缓存加速GPT模型的推理过程,用KV(Key-Value)缓存来提高Transformer模型推理的速度 | link
Becoming The Unbeatable against AGI
Speeding up the GPT - KV cache
The common optimization trick for speeding up transformer inference is KV caching 1 2. This technique is so prominent that huggingface library has use_cache flag is enabled by default 6. A few days ago, I read an awesome blog post on GPT in 60 Lines of NumPy.…
StableCode:Stability AI推出的第一个代码生成LLM产品,旨在帮程序员提高工作效率、为初学者提供学习工具,基560B tokens多种编程语言的数据集训练,针对具体任务进一步微调。可以完成含有多行代码的自动补全,上下文长度为16000 tokens,相比同类产品更大。
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Swift Transformers:苹果设备端优化的Transformer,可将大型语言模型如Llama转换至苹果设备上的Core ML格式,从而在iOS和macOS应用中使用
👍6
Forwarded from hodo-Course Combination
mmexport1691584264285.jpg
535.1 KB
2023 异空间安全 第12期 就业班
v2会员免费看
v2会员免费看
❤4👍2👎2
Optimization Techniques for GPU Programming.pdf
3 MB
GPU编程的优化技术:本文综述了在过去14年中发表的450篇文章中发现的各种GPU编程优化技术。我们从不同的角度分析了这些优化,发现它们之间高度相关,这解释了为什么需要像自动调节这样的技术。
MeterSphere:一站式开源持续测试平台
涵盖测试跟踪、接口测试、UI 测试和性能测试等,全面兼容 JMeter、Selenium 等主流开源标准,有效助力开发和测试团队在线共享协作,实现端到端的测试管理跟踪可视化、自动化测试、性能测试及融入持续交付 DevOps 体系,并充分利用云弹性进行高度可扩展的自动化测试,从而加速高质量的软件交付,推动中国测试行业整体效率的提升。
产品优势:
开源:基于开源、兼容开源,按月发布新版本、日均下载安装超过100次、被大量用户验证。
一站式:全面涵盖测试跟踪、接口测试、UI测试、性能测试并打通联动。
全生命周期:满足从测试计划、测试执行到测试报告分析的全生命周期需求。
持续测试:无缝对接 Bug 管理工具和持续集成工具等,将测试融入持续交付和 DevOps 体系。
团队协作:支持团队协作和资产沉淀,无论团队规模如何,总有适合的落地方式。
主要功能
测试跟踪:对接主流项目管理平台,测试过程全链路跟踪管理;列表脑图模式自由切换,用例编写更简单、测试报告更清晰。
接口测试:集 JMeter、PostMan 易用性和功能性于一体; 支持API 管理、Mock 服务、场景编排、扩展协议等。
UI 测试:基于 Selenium 浏览器自动化,高度可复用的测试脚本;无需复杂的代码编写,人人都可开展的低代码自动化测试。
性能测试:兼容 JMeter 的同时补足其分布式、监控与报告以及管理短板;帮助团队实现高并发、分布式的性能压测,完成压测任务的统一调度与管理。
涵盖测试跟踪、接口测试、UI 测试和性能测试等,全面兼容 JMeter、Selenium 等主流开源标准,有效助力开发和测试团队在线共享协作,实现端到端的测试管理跟踪可视化、自动化测试、性能测试及融入持续交付 DevOps 体系,并充分利用云弹性进行高度可扩展的自动化测试,从而加速高质量的软件交付,推动中国测试行业整体效率的提升。
产品优势:
开源:基于开源、兼容开源,按月发布新版本、日均下载安装超过100次、被大量用户验证。
一站式:全面涵盖测试跟踪、接口测试、UI测试、性能测试并打通联动。
全生命周期:满足从测试计划、测试执行到测试报告分析的全生命周期需求。
持续测试:无缝对接 Bug 管理工具和持续集成工具等,将测试融入持续交付和 DevOps 体系。
团队协作:支持团队协作和资产沉淀,无论团队规模如何,总有适合的落地方式。
主要功能
测试跟踪:对接主流项目管理平台,测试过程全链路跟踪管理;列表脑图模式自由切换,用例编写更简单、测试报告更清晰。
接口测试:集 JMeter、PostMan 易用性和功能性于一体; 支持API 管理、Mock 服务、场景编排、扩展协议等。
UI 测试:基于 Selenium 浏览器自动化,高度可复用的测试脚本;无需复杂的代码编写,人人都可开展的低代码自动化测试。
性能测试:兼容 JMeter 的同时补足其分布式、监控与报告以及管理短板;帮助团队实现高并发、分布式的性能压测,完成压测任务的统一调度与管理。
👍7❤2
SILO是一种新的语言模型,通过在推断时使用非参数化数据存储来平衡法律风险和性能,从而在不训练高风险数据的情况下提高性能,并支持数据归因和内容移除。
SILO 的构建方式如下:
1.在开放许可语料库 (OLC) 上训练参数化 LM,这是一个我们用公共领域的 228B 代币和许可文本策划的新语料库
2.使用更通用且易于修改的非参数数据存储对其进行增强(例如,包含受版权保护的书籍或新闻),仅在推理过程中查询。数据存储允许使用高风险数据而无需对其进行训练,支持句子级数据归因,并使数据生产者能够通过从商店中删除内容来选择退出该模型。这些功能可以促进对数据使用法规的遵守,例如美国的合理使用原则和欧盟的 GDPR。
SILO 的构建方式如下:
1.在开放许可语料库 (OLC) 上训练参数化 LM,这是一个我们用公共领域的 228B 代币和许可文本策划的新语料库
2.使用更通用且易于修改的非参数数据存储对其进行增强(例如,包含受版权保护的书籍或新闻),仅在推理过程中查询。数据存储允许使用高风险数据而无需对其进行训练,支持句子级数据归因,并使数据生产者能够通过从商店中删除内容来选择退出该模型。这些功能可以促进对数据使用法规的遵守,例如美国的合理使用原则和欧盟的 GDPR。