arXiv.org
  

  
    

MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building...

  Modern AI progress has been driven by ML methods that are generalizable across settings and scalable to larger regimes. As large language models demonstrate advanced capabilities in reasoning, coding, and engineering tasks, it is increasingly...


  

  
    
    
  

  



[!abstract]+
现代人工智能的进步是由可跨环境通用并可扩展到更大体系的人工智能方法推动的。随着大型语言模型在推理、编码和工程任务中展现出先进的能力，了解它们是否能够发现这些方法而不仅仅是应用现有方法变得越来越重要。我们介绍了 MLS-Bench，这是一个用于评估人工智能系统是否能够发明可推广和可扩展的 ML 方法的基准。MLS-Bench 包含横跨 12 个领域的 140 项任务，每项任务都要求代理改进 ML 系统或算法的一个目标组件，并证明这种改进可在受控环境和规模中推广。我们发现，当前的代理仍远未可靠地超越人类设计的方法，而且工程式的调整对它们来说比真正的方法发明更容易。我们进一步研究了测试时间缩放、自适应计算分配和上下文提供对代理发现性能的影响，并对其行为进行了案例研究。我们的分析表明，瓶颈不仅在于提出新方法，还在于规划、验证和扩展新方法所需的科学洞察力。仅靠更多的搜索、计算或上下文并不能消除这一瓶颈。我们建立并维护了一个社区平台，用于累积和比较迭代，并在此  https://mls-bench.com/ 上发布数据和代码。

特喵了绑卡后想取消都取消不了，天天催收，世界真是个巨大的草台班子 发邮件也不回的。兄弟你们都是怎么取消的

本来应该是这样的:

当底下有新人回复:

整个页面会浅刷新一下 然后所有相关图标都没了

https://linux.do/t/topic/2144293

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

我的帖子已经打上 开源推广 标签： 是
我的开源项目完整开源，无未开源部分： 是
我的开源项目已链接认可 LINUX DO 社区： 是
我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是
以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出


  

      github.com
  

  
    
  

  GitHub - a9gent/mindfs: Access your personal AI agents and workstation...

    Access your personal AI agents and workstation data anywhere, anytime through MindFS.


  

  
    
    
  

  


我的刚需

必须可以远程随时随地vibe
主流agent都要支持
agent电脑上的文件访问
远程时能随时拉起历史session继续
必须自托管，没有relay我用ip:port一样可以访问
能远程添加本地/github/空白项目/worktree
app锁屏通知提醒任务完成

缘由
去年vibe停不下来，试过各种远程vibe的姿势，都很让人抓狂，包括 happy 这种。
年初只有一个模糊的想法，主要诉求就上面几点，改了很多版，才逐渐把交互稳定下来。
这个月搞了个内测群，收了一些反馈，问题也基本收敛。
得意的几点设计

输入框蓝点左滑新建 session
统一上下文，一个 session 中随时切换 agent，特别适合互相 review 的。
文件和会话双向关联：文件被那些 session 修改，session 修改了那些文件。
独立relay：定制的 relay服务器，作为远程vibe 的可选项。
抽屉会话，随时弹出/收起，这点在文件和 session 之间切换时特别方便。

界面预览






核心场