DPS Build
840 subscribers
131 photos
3 videos
10 files
483 links
AI, coding, data science and startups
Download Telegram
周末开始跑 Karpathy 的新工具,试了两个场景,一个是 SEO 优化,一个是爬虫数据的清洗。

步骤很简单:

1. 让 agent 读取 autoresearch 的文档和代码;
2. 让它根据你的需求改写条件和目标,审核之后,就开始跑。

很适合跑多种组合+明确目标+快速迭代的实验。

https://github.com/karpathy/autoresearch
DPS Build
周末开始跑 Karpathy 的新工具,试了两个场景,一个是 SEO 优化,一个是爬虫数据的清洗。 步骤很简单: 1. 让 agent 读取 autoresearch 的文档和代码; 2. 让它根据你的需求改写条件和目标,审核之后,就开始跑。 很适合跑多种组合+明确目标+快速迭代的实验。 https://github.com/karpathy/autoresearch
仔细想想,这个和机器学习里的 grid search 理念有点相似。

grid search 是在机器学习中找 hyperparameter 时常用的方法。即暴力穷举各种可能,然后开始跑 cross validation。当然一次只能针对一个算法跑,所以局限在机器学习的场景里。

最近碰到清洗数据的问题,最早用了基于规则的方法清洗,几乎所有 agent 给出的最先方案都是这些。当然拿来做 baseline 也不错。但很快就遇到瓶颈。于是我想着本地能跑的模型性能也还不错,不如再加上 llm,这些是现在业界常用的清洗方法。

两种方法各有长短:

1. 基于 regex 的规则写起来快,处理速度也快,但是维护起来困难,而且非常容易 overfit

2. nlp 写起来慢,处理起来也慢,但是维护起来相对容易,也更容易拓展到新数据上。

上面的截图里,baseline 是基于 regex 写的规则,抽取率是 31%。我希望达到的目标是提高抽取率,同时慢慢用 nlp 取代冗长的 regex 规则,经过 A - G 轮的迭代,抽取率从 31% 提高到了68%,直接翻番。

全程我就是定义了目标,让 claude 自己读取文档,然后根据数据写 regex,写 nlp 算法,然后自行组合做 auto-research,半天时间就把抽取率翻倍,这在以前想都不敢想!
2
把博士论文用到的 R 代码丢给 Claude,让它重构一遍。不到半小时,砍掉了 68% 的重复代码 🤣
最近帮朋友优化 Wordpress,不得不感叹,有了 agent 之后简单太多了:

1. 让 claude 写了一个 Wordpress MCP,直接可以读取/更新文章,不用再去 Wordpress 后台一篇篇贴;

2. 朋友把所有相关文档存在 google drive 里,问 claude 怎么可以批量获取数据,推荐了 mcp 和 rclone 两个方案,选了后者。一步步在 google cloud 上配置好权限之后,我们就顺利获得了文件;

3. 朋友的品牌设计林林总总好多个文件,字体文件,PDF 等等不同的格式。让 claude 读取了之后,直接生成一个 token.json 和 vi.html,所有视觉设计的要素就浓缩成几十 kb 的两个文件了。
费了老半天劲,终于把开发环境部署到了 railway 上,架设在 tailscale 里,使用 cloudflare tunnel + access:

1. Container: node:22-slim based, deployed on Railway
2. Persistent volume: Railway volume — stores tools, workspace, Tailscale state
3. SSH access: Tailscale SSH
4. Browser access: code-server via Cloudflare Tunnel
5. Auth: Cloudflare Access

加了 persistent volume,所以现在部署很快。

code server 很不好部署,一直和 tailscale 有冲突,最后加了 cloudflare tunnel,绑定在自己的域名下。用 cloudflare 鉴权就可以通过浏览器访问了。

codex 可以用 device code 登陆。
DPS Build
费了老半天劲,终于把开发环境部署到了 railway 上,架设在 tailscale 里,使用 cloudflare tunnel + access: 1. Container: node:22-slim based, deployed on Railway 2. Persistent volume: Railway volume — stores tools, workspace, Tailscale state 3. SSH access: Tailscale SSH 4. Browser access:…
其实我把开发环境丢在家里的 Mac mini 上好几个月了,没啥大问题,但是首次连接会有些小问题。

另外考虑到回国之后没法用很多工具,所以就在 railway 上部署了另一个环境。

以后应该会把 railway 作为主环境,家里的 mac mini 作为备份。
昨天在国内一个高校分享了这一年多来的编程体验,我的理解是差不多经历了现金支付,信用卡支付再到移动支付三个时代。

所谓的现金支付阶段,是指开着一个 AI 聊天窗口,问一个问题,AI 生成一段代码,然后把代码带回 IDE 里跑一下,如此往复循环;

而到了信用卡支付阶段,开始在终端里跑 agent,agent 可以了解整个 repo 的上下文,对整个项目有更全面的了解,进而有更强的自主性,人的角色也慢慢变成了参与者;

现在到了移动支付阶段,agent 可以根据上下文,根据需求制定计划,人审核之后,agent 可以拆分子任务交给不同的 subagents 执行,执行完还可以调用其他模型审核代码。人的角色慢慢变成了架构师。

当然这些都在极速变化,我们可以 keep calm and catch on。

来听讲座的大概有二三十位数学系/统计系的同学,除了个别几位用到了移动支付阶段的 AI 编程,剩下的大部分都还停留在现金支付阶段。
👍4
跑去见高中的校长,和他聊了不少。

尽管他是老师,但年长我不多,所以我们交流比较随意。

我举的例子是,比如备课这件事和写代码其实很像。他们有多年教学经验的老师,积攒了大量的课件。如果有新教材出来,其实可以让 agent 学习之前的课件,了解老师的风格,为新课程准备课件。老师审核之后,作出相应修改,就可以拿去教学了。就好像让 agent 进入一个 repo,学习了上下文,就可以写出更好的代码一样。

他也觉得这事有可能。但这样一来,学校和老师的地位都有可能动摇。因为学生可能有更强的 AI 学习技能,而老师能教授的可能还不如 AI 多,还不如 AI 快。这样一来,学校的意义是什么?老师的意义是什么? 如果脑机接口进一步普及,那是不是只要接一个脑机接口,就能升级知识?那么考试的意义又何在?他还说现在那批在国外留学的学生,有不少都在研究脑机接口。可能未来会有更快的发展。

我的理解是:

1. 这样的变化只会越来越快,当然深处其中,我们很有可能会焦虑,这也在所难免。也许回头来看,这些都好像自然而然。就好像我们当时看到 devin 发布的时候,觉得 AI 写代码是天方夜谭,现在再一看,有几个程序员不用 AI 写代码?

2. 回头来说老师和学校的作用,我觉得可能会逐渐变化成 mentor 的角色。具体的知识点可能由 AI 来完成教学,但学什么方向,怎么学可能需要老师来指点。当然老师本身也需要具备更强的技能,更宽广的视野。他基本认同这一观点,但是要有破局者来作出改变,在现行环境下,极其困难。

3. 当然也许过几年回头来看,这些都是毫无意义的讨论,可能所有的发展都和我们想象的不一样。
Forwarded from C’s Random Collection
一月底最后一个周六有了一个灵感,想做个解放双手,优化了 AirPods 录音,边散步边和自己对话的 App。打开 Cursor coding 了一天,第二天就出门去 SoHo 散步就用上了,然后就完全离不开了,一天不落用到今天,录了300多条录音,200多个不同地点,近100小时和自己的对话。
这两个半月工作之余的 side project 时间全放在了这个 App 的打磨上,和自己和它的关系也有忽近忽远的变化,有意思的是也用它自己记录了下来。最近在读荣格,说自性化的目标是走向完整,走向完整指的是充分体验所有情感,如何充分体验所有情感?我给的答案是记录。放下手机,出门散步,踏出的每一步,对自己说出每个字,周围记录下来的环境音,路上随手拍的照片,都是值得记录下来的此时此刻。
随手录音,AI转录,适配了各种麦克风,privacy first,取名叫 Yuho,Logo是个伦敦的大肥鸽,昨天刚刚上线了,欢迎试玩,有机会一起散步🚶 如果用着感觉还不错,记得向我要 Pro 的兑换码

https://yuho.io
👍1