Corax: Core RL in JAX：JAX强化学习算法库
它旨在为 RL 算法提供模块化、纯功能性组件，可以轻松地用于不同的训练循环和加速器配置。目标是提供强大的基线代理，可以为未来的强化学习研究进行分叉和定制。
它旨在为 RL 算法提供模块化、纯功能性组件，可以轻松地用于不同的训练循环和加速器配置。目标是提供强大的基线代理，可以为未来的强化学习研究进行分叉和定制。
可扩展的轻量级一站式训练、推理深度学习框架。它集成了各种高效的微调方法，如LoRA、QLoRA、阿里云自研的ResTuning-Bypass等，以及开箱即用的训练推理脚本，使开发者可以在单张商业级显卡上微调推理LLM&AIGC模型。此外，SWIFT与PEFT完全兼容，使开发者可以在ModelScope模型体系中使用PEFT的能力。
目前支持的方法：
LoRA：LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Adapter：Parameter-Efficient Transfer Learning for NLP
Prompt: Visual Prompt Tuning
Side: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks
ResTuning-Bypass
所有在PEFT上提供的tuners
主要能力：
可以通过model-id使SWIFT或PEFT的方法使用ModelScope Hub中的模型
在单次训练或推理中可以使用多个tuners
支持调用activate_adapter或deactivate_adapter或set_active_adapters来使部分tuner激活或失活，用户可以在推理时同时加载多个独立的tuners在不同线程中并行使用。
swift | #框架
目前支持的方法：
LoRA：LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Adapter：Parameter-Efficient Transfer Learning for NLP
Prompt: Visual Prompt Tuning
Side: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks
ResTuning-Bypass
所有在PEFT上提供的tuners
主要能力：
可以通过model-id使SWIFT或PEFT的方法使用ModelScope Hub中的模型
在单次训练或推理中可以使用多个tuners
支持调用activate_adapter或deactivate_adapter或set_active_adapters来使部分tuner激活或失活，用户可以在推理时同时加载多个独立的tuners在不同线程中并行使用。
swift | #框架
👍4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
RIP: 快速、精简的Rust实现的pip库，允许从Rust解析和安装Python PyPI包到虚拟环境中
🤣27👍3❤1
本书的标题是“理解深度学习”，以区别于涵盖编码和其他实际方面的大部头。主要讨论深度学习的基本思想。
书的第一部分介绍了深度学习模型，讨论了如何训练它们，衡量它们的性能以及如何改进这些性能。接下来的部分考虑了专门用于图像、文本和图形数据的体系结构。
这些章节只需要初级线性代数、微积分和概率知识。
Understanding Deep Learning | #电子书
书的第一部分介绍了深度学习模型，讨论了如何训练它们，衡量它们的性能以及如何改进这些性能。接下来的部分考虑了专门用于图像、文本和图形数据的体系结构。
这些章节只需要初级线性代数、微积分和概率知识。
Understanding Deep Learning | #电子书
👍2
深度学习系统&人工智能系统，主要为本科生高年级、硕博研究生、AI系统从业者设计。
这个开源项目英文名字叫做 Deep Learning System 或者 AI System(AISys)，中文名字叫做 深度学习系统 或者 AI系统。
本开源项目主要是探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。
课程主要包括以下五大模块：
第一部分，AI基础知识和AI系统的全栈概述的AI系统概述，以及深度学习系统的系统性设计和方法论，主要是整体了解AI训练和推理全栈的体系结构内容。
第二部分，硬核篇介绍AI芯片，这里就很硬核了，从芯片基础到AI芯片的范围都会涉及，芯片设计需要考虑上面AI框架的前端、后端编译，而不是停留在天天喊着吊打英伟达，被现实打趴。
第三部分，进阶篇介绍AI编译器原理，将站在系统设计的角度，思考在设计现代机器学习系统中需要考虑的编译器问题，特别是中间表达乃至后端优化。
第四部分，实际应用推理系统，讲了太多原理身体太虚容易消化不良，还是得回归到业务本质，让行业、企业能够真正应用起来，而推理系统涉及一些核心算法和注意的事情也分享下。
第五部分，介绍AI框架核心技术，首先介绍任何一个AI框架都离不开的自动微分，通过自动微分功能后就会产生表示神经网络的图和算子，然后介绍AI框架前端的优化，还有最近很火的大模型分布式训练在AI框架中的关键技术。
第六部分，汇总篇介绍大模型，大模型是全栈的性能优化，通过最小的每一块AI芯片组成的AI集群，编译器使能到上层的AI框架，中间需要大量的集群并行、集群通信等算法在软硬件的支持。
这个开源项目英文名字叫做 Deep Learning System 或者 AI System(AISys)，中文名字叫做 深度学习系统 或者 AI系统。
本开源项目主要是探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。
课程主要包括以下五大模块：
第一部分，AI基础知识和AI系统的全栈概述的AI系统概述，以及深度学习系统的系统性设计和方法论，主要是整体了解AI训练和推理全栈的体系结构内容。
第二部分，硬核篇介绍AI芯片，这里就很硬核了，从芯片基础到AI芯片的范围都会涉及，芯片设计需要考虑上面AI框架的前端、后端编译，而不是停留在天天喊着吊打英伟达，被现实打趴。
第三部分，进阶篇介绍AI编译器原理，将站在系统设计的角度，思考在设计现代机器学习系统中需要考虑的编译器问题，特别是中间表达乃至后端优化。
第四部分，实际应用推理系统，讲了太多原理身体太虚容易消化不良，还是得回归到业务本质，让行业、企业能够真正应用起来，而推理系统涉及一些核心算法和注意的事情也分享下。
第五部分，介绍AI框架核心技术，首先介绍任何一个AI框架都离不开的自动微分，通过自动微分功能后就会产生表示神经网络的图和算子，然后介绍AI框架前端的优化，还有最近很火的大模型分布式训练在AI框架中的关键技术。
第六部分，汇总篇介绍大模型，大模型是全栈的性能优化，通过最小的每一块AI芯片组成的AI集群，编译器使能到上层的AI框架，中间需要大量的集群并行、集群通信等算法在软硬件的支持。
👍5
Media is too big
VIEW IN TELEGRAM
用于机器人学习和具身AI领域研究的模块化框架
RoboHive 生态系统包含一系列预先存在的和新颖的环境，包括 Shadow Hand 的灵巧操纵、Franka 和 Fetch 机器人的全臂操纵任务以及各种四足运动任务。
与之前的作品相比，RoboHive 提供了精简且统一的任务界面，利用最新的模拟绑定，具有丰富的视觉多样性任务，并支持现实世界开发的通用硬件驱动程序。
RoboHive 的统一界面为研究人员提供了一个方便且易于访问的平台来研究多种学习范式，例如模仿、强化、多任务和分层学习。
RoboHive 还包括大多数环境的专家演示和基线结果，为基准测试和比较提供了标准。
特征：
最广泛、多样化的任务集合
完全可定制的视觉丰富的任务，专为行为泛化而设计。
奖励不可知的任务成功指标
支持多种算法系列+预训练基线
Sim 和硬件无关的机器人类，可在 sim <> real 之间轻松转换
远程操作支持。人类+专家数据集
RoboHive | #框架
RoboHive 生态系统包含一系列预先存在的和新颖的环境，包括 Shadow Hand 的灵巧操纵、Franka 和 Fetch 机器人的全臂操纵任务以及各种四足运动任务。
与之前的作品相比，RoboHive 提供了精简且统一的任务界面，利用最新的模拟绑定，具有丰富的视觉多样性任务，并支持现实世界开发的通用硬件驱动程序。
RoboHive 的统一界面为研究人员提供了一个方便且易于访问的平台来研究多种学习范式，例如模仿、强化、多任务和分层学习。
RoboHive 还包括大多数环境的专家演示和基线结果，为基准测试和比较提供了标准。
特征：
最广泛、多样化的任务集合
完全可定制的视觉丰富的任务，专为行为泛化而设计。
奖励不可知的任务成功指标
支持多种算法系列+预训练基线
Sim 和硬件无关的机器人类，可在 sim <> real 之间轻松转换
远程操作支持。人类+专家数据集
RoboHive | #框架
❤2
Expert_C_Programming.pdf
2.1 MB
👍12❤1😱1
ChatGPT AutoExpert：ChatGPT自定义指令集，旨在提升GPT-4和GPT-3.5-Turbo对话模型的能力，为用户提供准确、充分上下文的信息，以改善学习体验
👍3❤1