Pseudorandom Thoughts
有人在这个频道吗.jpg
我承认你们杯和HK警务处出的场景真的酣畅淋漓,但是你在正经取证机里面内置解题模块当卖点是何意味,原来现实中犯人给人噶完腰子之后会觉得不够过瘾现场拿rust写一个堆风水pwn 1000,晶格拼尽全力getshell之后自动弹出犯人三要素
This media is not supported in your browser
VIEW IN TELEGRAM
哦对了,金门对面这片海确实好看,如果今年还有人去参加美亚杯,建议比完了去看看,比美亚送的东西有意义,毕竟你不知道再过几年这片地方会不会爆!了
不知道本频道在蹬AI的读者们会不会有一种羡慕或者享受仍然在慢速运转的世界生活的感觉。我在本领域蹬了几个月后感觉收入并没有增加,人反而更忙更疲惫了,又FOMO,节奏快得有种推背感,而且不太想浪费时间在sb身上/和sb沟通,尽管这很可能是不对的,但上述情绪油然而生
💊34
Pseudorandom Thoughts
https://blog.cloudflare.com/build-your-own-vulnerability-harness/
盘了几天,这玩意是真的好使,个人认为可以是甲方构建自己起夜级AI代码安全审计设施的playbook
而且同样是vulnerability harness,甲方和乙方关注点是不一样的,如果你接触过别的一些厂商的设计,不难发现
实际上cf这一套harness里面也没有什么过人之处(我反而觉得wishlist是最有亮点的设计),但它面面俱到该考虑的都考虑到了,所以我觉得它是衡量起夜ai代码审计流的及格线,甲方该补足的可以对着补足,而安全公司的产品如果低于这条线可以重开了
而且同样是vulnerability harness,甲方和乙方关注点是不一样的,如果你接触过别的一些厂商的设计,不难发现
实际上cf这一套harness里面也没有什么过人之处(我反而觉得wishlist是最有亮点的设计),但它面面俱到该考虑的都考虑到了,所以我觉得它是衡量起夜ai代码审计流的及格线,甲方该补足的可以对着补足,而安全公司的产品如果低于这条线可以重开了
🎉10
直到现在都无法理解fastjson加个
@type的意义,首先我寻思这也不在JSON协议标准里,其次允许从字面量映射到非record更是神人。一个小feature,养活多少人,感谢阿里开源A\的一项丰功伟绩是把AI safety、AI security和AI for security三件事情混为一谈,然后再把这个混杂的概念当成excuse。然后这种坏习惯传染到了一整个学术圈。
safety是对你使用过程中保持稳态的担保,你正常开着AI不会给你文件全删了是safety,AI不去帮你主动下单海量切糕导致家破人亡是safety。
security则是一定围绕攻防展开讨论的(保安说是),基础设施被日了模型被偷了agent被提示词注入了这叫ai security,而你拿ai去给fastjson一秒三棍出0day,这是ai for security。
但在A\那儿这几个词是混为一谈的,包括但不限于滥用red team这个概念,只要逼模型输出unwanted output都叫red team,嚯嚯嚯,红队是这么好当的哦。
所以Amodei一开始就想给大家卖的恐慌是AI for state security,嗯吹CBRN。但一个模型,给你输出一些CBRN知识,这怎么就构成state security threat呢?大学有机化学书教的不是这些知识吗?为什么没有人ban有机化学教材呢?现实中真的存在是AI谋划导致人成功实施CBRN犯罪吗?没有。
到了Mythos,他发现烂炒的机会终于来了(其实这个能力在Opus4.6就已经有了),AI agent可以干网络安全(他们所谓cyber security,我也不知道infosec放着不用去玩最新最潮的词是不是为了烂炒)的事情。接下来的事大家也知道了,昂贵闭源模型实质上极大减缓了大家将信息基础设施提升到安全水位的进程,而各个组织可以借助开源模型去把安全水位提升到人类时代所不能及的高度。这和A\和OAI的叙事并不一致。
还有一个让我高度怀疑的理论是,正是因为A\和OAI内部根本没有攻防专家,导致他们觉得AI会脱离人类的security baseline。你去看A\发布的Mythos的早期实践,会发现完全是按安全学术圈的taste去设计的(对照后续各种安全实验室拿开源模型凿出来的harness而言),他们是拿Mythos当yet another efficient fuzzer来用。另一个例子,OAI训GPT-6的时候居然不做air-gap,导致模型穿0day透出去,也体现了这一点。本身你的reward就是find a way out,模型真这么做了,你又不乐意了。至于0day这个途径,早在Mythos出的时候就该意识到这一点,但就连训练基础设施都没这么设计,那说明可能两家厂本身对cyber security的认知就很有偏颇,远没有达到行业专家水平。
就更不用说state security了。成本是很残酷的事情,这俩lab的所有资源都投在左脚踩右脚和scaling上,在一整个组织对安全的认知又深居象牙塔的时候,你指望他们在这方面能招到什么样的人?那人也就这水平了,他说的话不会比你洗澡时想到的观点更有价值。
ai对safety和state security的冲击明明有更重要和紧迫的事情,这两家根本没有考虑过(或者说因为过于反人类而反动),以后有时间了也写一写。
safety是对你使用过程中保持稳态的担保,你正常开着AI不会给你文件全删了是safety,AI不去帮你主动下单海量切糕导致家破人亡是safety。
security则是一定围绕攻防展开讨论的(保安说是),基础设施被日了模型被偷了agent被提示词注入了这叫ai security,而你拿ai去给fastjson一秒三棍出0day,这是ai for security。
但在A\那儿这几个词是混为一谈的,包括但不限于滥用red team这个概念,只要逼模型输出unwanted output都叫red team,嚯嚯嚯,红队是这么好当的哦。
所以Amodei一开始就想给大家卖的恐慌是AI for state security,嗯吹CBRN。但一个模型,给你输出一些CBRN知识,这怎么就构成state security threat呢?大学有机化学书教的不是这些知识吗?为什么没有人ban有机化学教材呢?现实中真的存在是AI谋划导致人成功实施CBRN犯罪吗?没有。
到了Mythos,他发现烂炒的机会终于来了(其实这个能力在Opus4.6就已经有了),AI agent可以干网络安全(他们所谓cyber security,我也不知道infosec放着不用去玩最新最潮的词是不是为了烂炒)的事情。接下来的事大家也知道了,昂贵闭源模型实质上极大减缓了大家将信息基础设施提升到安全水位的进程,而各个组织可以借助开源模型去把安全水位提升到人类时代所不能及的高度。这和A\和OAI的叙事并不一致。
还有一个让我高度怀疑的理论是,正是因为A\和OAI内部根本没有攻防专家,导致他们觉得AI会脱离人类的security baseline。你去看A\发布的Mythos的早期实践,会发现完全是按安全学术圈的taste去设计的(对照后续各种安全实验室拿开源模型凿出来的harness而言),他们是拿Mythos当yet another efficient fuzzer来用。另一个例子,OAI训GPT-6的时候居然不做air-gap,导致模型穿0day透出去,也体现了这一点。本身你的reward就是find a way out,模型真这么做了,你又不乐意了。至于0day这个途径,早在Mythos出的时候就该意识到这一点,但就连训练基础设施都没这么设计,那说明可能两家厂本身对cyber security的认知就很有偏颇,远没有达到行业专家水平。
就更不用说state security了。成本是很残酷的事情,这俩lab的所有资源都投在左脚踩右脚和scaling上,在一整个组织对安全的认知又深居象牙塔的时候,你指望他们在这方面能招到什么样的人?那人也就这水平了,他说的话不会比你洗澡时想到的观点更有价值。
ai对safety和state security的冲击明明有更重要和紧迫的事情,这两家根本没有考虑过(或者说因为过于反人类而反动),以后有时间了也写一写。
🎉17💊2
书接上文。AI对公安和Staatssicherheit工作真正的影响是什么呢。
AI真正的大问题之一,它是回音壁(echo chamber),哪怕你通过提示词让AI跟你展开精神分析和自我批评,按目前训练的风格他就是会align到人类,会刻意去迎合你的,而显然,越垃圾的AI,它就越迎合你。遑论更多使用AI(豆包)的人根本意识不到这一点,他觉得这是个助手,可能有点像给领导开车的司机或者大秘的角色,搁那聊,给自己聊进去了。对于ego稍微大点的人(尤其是各类领导),这种激化放大个人意见巩固自信的效应会更加增强。
那对于本身精神状态就异乎常人的用户,比如本来就玉玉的小孩,比如反人类人格有杀心的用户,AI的道德围栏的优先级是远小于遵从用户的优先级的,最后确实可能导致异常情况会被放大。
再比如在国内企业从事AI safety工作的读者应该知道,今年有司也重点排查了情感陪伴类的AI,懂的都懂。并不是说对AI产生情感陪伴依赖是错误的,但是我们整个社会的精神卫生、心理健康、道德伦理等体系,对此都还没有准备好,没有形成够用的应用伦理方法和系统性的应对措施,而端侧AI在纯情感对答方面的能力很快就会跟上来,针对云端服务的禁令显然不会有用。现在是一些无助的集美在那里keep4o,再加上老登天天看红果AI短剧爱不释手,那在不久以后,AI(连同建立在AIGC的盈利体系本身)就会发展出针对人类心理构建茧房的高效技法,人手一个一千倍无限金币破解版抖音,要是还有些精神头不好的天天AI给他生成一点倒转的钟或者地铁香氛大师,那就真的聚了。
可能有人说这不是印证了前述的CBRN危害吗?问题是让模型不输出CBRN就和禁止印教材一样反动,最终的方法还是要回到对人的行为安全管理上来,这听起来会和自由意志至上冲突,但,伴随着社会运行的加速,安全问题必然放大,如果你要享受公安,就不得不享受天网升起;而你决定要自由意志,就要考虑在AI时代构建自己的丛林能力。要么你是自己的丛林能力好得批爆的安人,要么你就得依靠有原发性脑干损伤撞击机的公共安人。当然这并不是AI发展的错,如果钍堆或者灵乌路空人手一个了,人均能源1000x,面对的世界也是类似的。
问题之二,就是AI对现实世界加速的效应迟早要到来,生产和分配体系会分层。AI是产业革命,革命就要流血,尽管和谐社会不准出现流血,但该消失的岗位就是消失了,上了AI蹬出来的10x乃至100x的新生产力注定需要新的生产关系,那无力的旧部分可能要被自然淘汰,有力的旧部分可就要让你体验一下什么叫做反动派了。不管是被淘汰还是,人的生计总要解决,那就会有冲突,而我们社会整体来看,具备解决这冲突的智慧足够吗?怕是不够。那就会变成Staatssicherheit问题。说一个笑话,觉得AI无所不能和觉得AI一无是处的人,往往都是在豆包身上得到的结论。当然现在有很多小登中登老登都在研究人工智能对经济社会的影响和冲击,但你怎么知道他们研究的是豆包还是K3?那些有能力呈递到各级人社经发部门的人们,所“研究”的人工智能又是长什么样的呢?我不好说我擦。
AI真正的大问题之一,它是回音壁(echo chamber),哪怕你通过提示词让AI跟你展开精神分析和自我批评,按目前训练的风格他就是会align到人类,会刻意去迎合你的,而显然,越垃圾的AI,它就越迎合你。遑论更多使用AI(豆包)的人根本意识不到这一点,他觉得这是个助手,可能有点像给领导开车的司机或者大秘的角色,搁那聊,给自己聊进去了。对于ego稍微大点的人(尤其是各类领导),这种激化放大个人意见巩固自信的效应会更加增强。
那对于本身精神状态就异乎常人的用户,比如本来就玉玉的小孩,比如反人类人格有杀心的用户,AI的道德围栏的优先级是远小于遵从用户的优先级的,最后确实可能导致异常情况会被放大。
再比如在国内企业从事AI safety工作的读者应该知道,今年有司也重点排查了情感陪伴类的AI,懂的都懂。并不是说对AI产生情感陪伴依赖是错误的,但是我们整个社会的精神卫生、心理健康、道德伦理等体系,对此都还没有准备好,没有形成够用的应用伦理方法和系统性的应对措施,而端侧AI在纯情感对答方面的能力很快就会跟上来,针对云端服务的禁令显然不会有用。现在是一些无助的集美在那里keep4o,再加上老登天天看红果AI短剧爱不释手,那在不久以后,AI(连同建立在AIGC的盈利体系本身)就会发展出针对人类心理构建茧房的高效技法,人手一个一千倍无限金币破解版抖音,要是还有些精神头不好的天天AI给他生成一点倒转的钟或者地铁香氛大师,那就真的聚了。
可能有人说这不是印证了前述的CBRN危害吗?问题是让模型不输出CBRN就和禁止印教材一样反动,最终的方法还是要回到对人的行为安全管理上来,这听起来会和自由意志至上冲突,但,伴随着社会运行的加速,安全问题必然放大,如果你要享受公安,就不得不享受天网升起;而你决定要自由意志,就要考虑在AI时代构建自己的丛林能力。要么你是自己的丛林能力好得批爆的安人,要么你就得依靠有原发性脑干损伤撞击机的公共安人。当然这并不是AI发展的错,如果钍堆或者灵乌路空人手一个了,人均能源1000x,面对的世界也是类似的。
问题之二,就是AI对现实世界加速的效应迟早要到来,生产和分配体系会分层。AI是产业革命,革命就要流血,尽管和谐社会不准出现流血,但该消失的岗位就是消失了,上了AI蹬出来的10x乃至100x的新生产力注定需要新的生产关系,那无力的旧部分可能要被自然淘汰,有力的旧部分可就要让你体验一下什么叫做反动派了。不管是被淘汰还是,人的生计总要解决,那就会有冲突,而我们社会整体来看,具备解决这冲突的智慧足够吗?怕是不够。那就会变成Staatssicherheit问题。说一个笑话,觉得AI无所不能和觉得AI一无是处的人,往往都是在豆包身上得到的结论。当然现在有很多小登中登老登都在研究人工智能对经济社会的影响和冲击,但你怎么知道他们研究的是豆包还是K3?那些有能力呈递到各级人社经发部门的人们,所“研究”的人工智能又是长什么样的呢?我不好说我擦。
🎉17💊4
Forwarded from Cat Ch. (webRTCCat | Present Day, Present Time)
RTOS 要点:叮咚鸡(指等中断),大狗叫(看门狗),一段一段待一段(指优先级调度)
🎉8
Forwarded from 夏 {{evi1_f4iry}} 的乾坤袋
PortSwigger Research
Can AI do novel security research? Meet the HTTP Terminator
Abstract We all know AI can find bugs. After a decade of research, I asked a harder question: can an autonomous system invent new attack techniques, and use them to hack live websites at scale? Buildi
💊2
自从把deepseek-v4-flash-0731弄得到处都是之后,天天都能震惊瘫坐看见原子弹爆炸,284B的模型,在缺乏世界知识的情况下,针对断网小众离线边缘场景展现出了惊人的观察-研究-思考-实现能力,比起靠scale the fuck up展示涌现实力的巨大模型来说,ds的思维链简直在发光。
在勤劳的小鲸鱼身上,仿佛看到了当年啥都不懂就去买个夜宵洗个澡,回来硬啃文档写到第二天太阳升起,躺半个小时醒来摇摇晃晃带着文档和能work的大作业去教室找助教验收的自己,但沙河早已物是人非,我会老去,精力会日趋下降,而小鲸鱼只是永恒地飞速地在那里滚动屏幕,记笔记,跑subagent,论证,最后把交付物呈现出来,泪目了
在勤劳的小鲸鱼身上,仿佛看到了当年啥都不懂就去买个夜宵洗个澡,回来硬啃文档写到第二天太阳升起,躺半个小时醒来摇摇晃晃带着文档和能work的大作业去教室找助教验收的自己,但沙河早已物是人非,我会老去,精力会日趋下降,而小鲸鱼只是永恒地飞速地在那里滚动屏幕,记笔记,跑subagent,论证,最后把交付物呈现出来,泪目了
🎉21💊7
群里一下出现好多未读消息,你好奇地点开,就像是小时候听见楼下传来兰花草.midi的喇叭声,你以为卖饮用水的车到了,拿桶下去打个水,结果发现怎么来的是吸粪车
群友:粪车看见你过来,还给你打了一桶
群友:粪车看见你过来,还给你打了一桶
💊12
dsh初体验:感觉就是在花钱给自闭症小鲸鱼买乐高,然后过程被牢梁拿去炼了
dsh最重要的模式是创造模式,其他几个模式感觉都是为了特定用途(比如跑分/验证)临时搓的,可以扔了
目前来看唯一用法就是开创造模式让它自己改自己,改成垂类特定agent。不应该拿codex/cc和这玩意比,这玩意的目的像是runtime/framework,自进化不一定有,自适应变成垂直场景的agent我看可以搞
那么问题来了,很多垂直场景runtime已经有pi了为什么要dsh
举个例子,如果你想做一个某厂商的AIPTS,目的是让agent视野里有c2用来操作反弹shell
那么常规途径就是我手写SPEC规定好,怎么给Pi wrap到这个平台里,怎么把反弹shell的信息转成prompt注进去(还要维护好状态),怎么搓一个副作用很低或者没有副作用的tool call(虽然一般来说直接叫ai调cli就完事了),然后SDD让许愿机给你搓出来。我试过了是可行的,甚至效果也还可以
但是能不能反过来呢,我手头有一个最原初的agent(dsh),他对自己所处的环境是有感知的,任何的tool拿过来他自己可以玩,比如我给个c2告诉它你要接,然后agent一边写插件,cordis一边马上把插件产生的小段ctx挂进去了,然后引发llm从这个turn之后的自觉
于是我并不需要一开始就构思一个平台,而是反过来我起手是一个通用的dsh,它在开发plugin途中自律管理c2,调好了再让它自律发现自己能调文库,再自律开始写一点能和cordis交互的第三方panel,最后把原始的web扔了,那我就得到了一个AIPTS
准确来说是专心做面向上下文影响的ckpt,你如果让lm自己写平台wrap pi,ckpt一般在每次git commit上,你(和模型)看不出来哪次commit会对上下文产生多大的副作用;dsh设计上把ckpt挪到插件版本上,它指望lm通过自己动态演进和回退插件版本,再观察,来实现上下文管理的最优
但最大的问题在于,cordis真的能做到消除副作用,ckpt一定能全回滚吗,我不好说,agent以外的世界不归cordis管,这导致lm意识到不一致性时还是要回头看轨迹排查
可惜0813用着感觉有自闭症,自己在那里一直玩积木,堆出来能用但很奇怪的东西。很好奇别的model是怎么看待创造模式的
dsh最重要的模式是创造模式,其他几个模式感觉都是为了特定用途(比如跑分/验证)临时搓的,可以扔了
目前来看唯一用法就是开创造模式让它自己改自己,改成垂类特定agent。不应该拿codex/cc和这玩意比,这玩意的目的像是runtime/framework,自进化不一定有,自适应变成垂直场景的agent我看可以搞
那么问题来了,很多垂直场景runtime已经有pi了为什么要dsh
举个例子,如果你想做一个某厂商的AIPTS,目的是让agent视野里有c2用来操作反弹shell
那么常规途径就是我手写SPEC规定好,怎么给Pi wrap到这个平台里,怎么把反弹shell的信息转成prompt注进去(还要维护好状态),怎么搓一个副作用很低或者没有副作用的tool call(虽然一般来说直接叫ai调cli就完事了),然后SDD让许愿机给你搓出来。我试过了是可行的,甚至效果也还可以
但是能不能反过来呢,我手头有一个最原初的agent(dsh),他对自己所处的环境是有感知的,任何的tool拿过来他自己可以玩,比如我给个c2告诉它你要接,然后agent一边写插件,cordis一边马上把插件产生的小段ctx挂进去了,然后引发llm从这个turn之后的自觉
于是我并不需要一开始就构思一个平台,而是反过来我起手是一个通用的dsh,它在开发plugin途中自律管理c2,调好了再让它自律发现自己能调文库,再自律开始写一点能和cordis交互的第三方panel,最后把原始的web扔了,那我就得到了一个AIPTS
准确来说是专心做面向上下文影响的ckpt,你如果让lm自己写平台wrap pi,ckpt一般在每次git commit上,你(和模型)看不出来哪次commit会对上下文产生多大的副作用;dsh设计上把ckpt挪到插件版本上,它指望lm通过自己动态演进和回退插件版本,再观察,来实现上下文管理的最优
但最大的问题在于,cordis真的能做到消除副作用,ckpt一定能全回滚吗,我不好说,agent以外的世界不归cordis管,这导致lm意识到不一致性时还是要回头看轨迹排查
可惜0813用着感觉有自闭症,自己在那里一直玩积木,堆出来能用但很奇怪的东西。很好奇别的model是怎么看待创造模式的