Agent时代的安全产品应该长啥样？

https://predmet.ch/infosec/sec_product_agent_age

一些观察：bureaucracy并不是不重视人工智能，但除开接受了良好教育和智库建议的元老院，以及少数真的积极主动用LM的人以外，bureaucracy整体看待人工智能的方式和当年看待5G、鸿蒙、区块链的方式大差不差，因为领导要务在身不可能亲自去搞什么agent loop，所以调研报告的任务就会压到中层乃至一线；而正因为元老院太重视人工智能，这种调研和落实任务就会变成层层传递的OKR，而众所周知，一旦从领导这一层往下分拆，就会涉及到多个不同部门的利益纠葛，当然这也包括部门小领导对AI的接受程度，那么，哪里要用AI，怎么用AI，在你真正要把这个东西在bureaucracy和Staatsbetrieb大规模搞起来之前，反而要人工写大量的文书汇报和申报材料，开会扯皮，也包括向上做领导的思想工作，于是一两三个月过去了，在别人已经给全量代码库用Mythos跑完一遍安全审计时，你的领导可能仍然在让你去调研洽谈隔壁Staatsbetrieb开发出来的版本号扫描器对接qwen2.5水平对话小助手的“智能漏扫”产品，而一些在内部建设防御性壁垒的部门领导可能早就对带着LLM hype的你不怀好意了。在过去的数年间，我都没见过其他技术带来如此巨大的激进的一线与缓动的中上层之间的割裂。
但LLM的生产力提升终究是客观存在的，如果历史的车轮突然飞起来，动得慢也会成为一种反动，这就为后续更大的冲突埋下隐患。

《奇点来了》是荒诞戏剧的代表作。以几个炒作狗苦等“AGI”，而“AGI”不来的情节，喻示AGI是一场无尽无望的炒作，表达了市场荒诞、人生痛苦的存在主义思想。它发生的时间地点都是模糊的，布景也是一片荒凉，他们一边等，一边用各种无意义的手段打发时光。他们经常显得头脑一片混乱，缺乏思维能力，尤其是极度地惧怕孤独。当有人询问“AGI代表什么”时，类人公司和 AI顶刊们说：“我不好说，我擦。”

也论人和Agent的交互设计

https://predmet.ch/design/human_agent_interactive

哦对了，你们A\的另一项丰功伟绩是在AI领域成功烂炒红队这个词，都不说exploit了，但凡出现一点abuse在报告里都要写成red-teaming，每次在博客/论文里看到，你都会想攻防对抗在哪，结果发现红是红温的红

AUR 大量孤儿包被投毒

近日，有大量 AUR 孤儿包被多名新注册用户接管，并增加 npm 依赖、在安装时通过安装脚本（.install）或者 pacman hook 执行 # npm install atomic-lockfile 操作以运行恶意代码。该 atomic-lockfile 包亦是于近日上传至 npm registry。

一旦安装有问题的软件包，恶意代码将以 root 权限安装并运行，收集至少包括浏览器、Shell 命令历史记录、各种应用程序中的凭据等信息，并将其上传。恶意代码也会利用 ebpf 程序隐藏自身。建议受影响的用户重装系统并重置所有网络账户密码和各类密钥、凭据。

如果 pacman.log 表明未曾安装过 npm、或者在多天以前已经卸载 npm，则应当未受影响。

用户从 AUR 安装软件时请注意审阅构建脚本。另外及时卸载从官方仓库移出的、不再需要的依赖包，比如 libgdata。

另：[archlinuxcn] 仓库中的包未受影响。感谢 chaotic-aur 的通知。

aur-general 邮件列表的相关讨论之一： https://lists.archlinux.org/archives/list/aur-general@lists.archlinux.org/thread/FGXPCB3ZVCJIV7FX323SBAX2JHYB7ZS4/
一份供参考的分析报告： https://ioctl.fail/preliminary-analysis-of-aur-malware/

一些怪思考
1. 有了LLM之后，网络安全管理方面能不能也作对抗分析？，众所周知ISO27001和等保作用几乎等同于摆设，传统审计总是假定一个多级文档的playbook拴住人，然后人栓机器。问题是人并不是机器，只要你抽取可观测性指标，人对交付给你的观测结果就会“优化”。但现时的LM有着极强的主观观测能力。比如说，经验老到的金融口大黑阔可能可以结合银行业务条线、大致用的系统/供应商、目标过往安全记录等，去判断还有哪些口子可以打，这其实是总抓安全管理漏洞，那么LM的时代能不能有一套逆炼安全管理原则的方法，让LM科学地观测和给出组织安全管理层面的脆弱性见解（而不是幻觉写稿）？
2. 今年年初以来发现大家对模型的观感和评价分化越来越大了，感觉评价模型好不好用不能再单纯看跑分了，用户有哪些世界知识，模型有哪些世界知识，所工作的世界能给模型多少知识，工作具体需要哪些知识，指定场景要发散思维还是要严格执行，这些都会严重影响实际跑着的表现。反而回归最基本的，像价格、速度、知识规模、注意力、遵从和上下文等，是比较客观的硬指标，然而这些指标并不那么好bench。

Tired of noobs complaining the WINAPI for malware development is weird. It's not.

How do you create a file?
The CreateFile function.

How do you open a file for reading?
The CreateFile function.

How do you open a file for writing?
The CreateFile function.

How do you get a handle to a directory?
The CreateFile function.

How do delete a file?
The CreateFile function.

How do you get access to a physical disk?
The CreateFile function.

How do you get access to a file stream?
The CreateFile function.

How do you get access to the console buffer?
The CreateFile function.

How do you get access to pipes?
The CreateFile function.

How do you perform interprocess communication?
The CreateFile function.

Just make sure you use the appropriate version of CreateFile (CreateFileA for ANSI, or CreateFileW for wide characters).

Alternatively, you can use CreateFile2 which is the same as CreateFile except the parameters are passed as a data structure named CREATEFILE2_EXTENDED_PARAMETERS. However, be aware CreateFile2 only works on Windows 8 and above and designed more or less for programs running from the Windows app store.

Alternatively, alternatively, you could use CreateFile3 which is nearly identical to CreateFile2 except it uses the CREATEFILE3_EXTENDED_PARAMETERS structure and is more or less designed for sandboxed packaged applications. However, be aware CreateFile3 only works on Windows11 24H2 and above.

It's shrimple, honestly.

我承认你们杯和HK警务处出的场景真的酣畅淋漓，但是你在正经取证机里面内置解题模块当卖点是何意味，原来现实中犯人给人噶完腰子之后会觉得不够过瘾现场拿rust写一个堆风水pwn 1000，晶格拼尽全力getshell之后自动弹出犯人三要素

哦对了，金门对面这片海确实好看，如果今年还有人去参加美亚杯，建议比完了去看看，比美亚送的东西有意义，毕竟你不知道再过几年这片地方会不会爆！了

不知道本频道在蹬AI的读者们会不会有一种羡慕或者享受仍然在慢速运转的世界生活的感觉。我在本领域蹬了几个月后感觉收入并没有增加，人反而更忙更疲惫了，又FOMO，节奏快得有种推背感，而且不太想浪费时间在sb身上/和sb沟通，尽管这很可能是不对的，但上述情绪油然而生

盘了几天，这玩意是真的好使，个人认为可以是甲方构建自己起夜级AI代码安全审计设施的playbook
而且同样是vulnerability harness，甲方和乙方关注点是不一样的，如果你接触过别的一些厂商的设计，不难发现

实际上cf这一套harness里面也没有什么过人之处（我反而觉得wishlist是最有亮点的设计），但它面面俱到该考虑的都考虑到了，所以我觉得它是衡量起夜ai代码审计流的及格线，甲方该补足的可以对着补足，而安全公司的产品如果低于这条线可以重开了

直到现在都无法理解fastjson加个@type的意义，首先我寻思这也不在JSON协议标准里，其次允许从字面量映射到非record更是神人。一个小feature，养活多少人，感谢阿里开源

A\的一项丰功伟绩是把AI safety、AI security和AI for security三件事情混为一谈，然后再把这个混杂的概念当成excuse。然后这种坏习惯传染到了一整个学术圈。
safety是对你使用过程中保持稳态的担保，你正常开着AI不会给你文件全删了是safety，AI不去帮你主动下单海量切糕导致家破人亡是safety。
security则是一定围绕攻防展开讨论的（保安说是），基础设施被日了模型被偷了agent被提示词注入了这叫ai security，而你拿ai去给fastjson一秒三棍出0day，这是ai for security。
但在A\那儿这几个词是混为一谈的，包括但不限于滥用red team这个概念，只要逼模型输出unwanted output都叫red team，嚯嚯嚯，红队是这么好当的哦。
所以Amodei一开始就想给大家卖的恐慌是AI for state security，嗯吹CBRN。但一个模型，给你输出一些CBRN知识，这怎么就构成state security threat呢？大学有机化学书教的不是这些知识吗？为什么没有人ban有机化学教材呢？现实中真的存在是AI谋划导致人成功实施CBRN犯罪吗？没有。

到了Mythos，他发现烂炒的机会终于来了（其实这个能力在Opus4.6就已经有了），AI agent可以干网络安全（他们所谓cyber security，我也不知道infosec放着不用去玩最新最潮的词是不是为了烂炒）的事情。接下来的事大家也知道了，昂贵闭源模型实质上极大减缓了大家将信息基础设施提升到安全水位的进程，而各个组织可以借助开源模型去把安全水位提升到人类时代所不能及的高度。这和A\和OAI的叙事并不一致。
还有一个让我高度怀疑的理论是，正是因为A\和OAI内部根本没有攻防专家，导致他们觉得AI会脱离人类的security baseline。你去看A\发布的Mythos的早期实践，会发现完全是按安全学术圈的taste去设计的（对照后续各种安全实验室拿开源模型凿出来的harness而言），他们是拿Mythos当yet another efficient fuzzer来用。另一个例子，OAI训GPT-6的时候居然不做air-gap，导致模型穿0day透出去，也体现了这一点。本身你的reward就是find a way out，模型真这么做了，你又不乐意了。至于0day这个途径，早在Mythos出的时候就该意识到这一点，但就连训练基础设施都没这么设计，那说明可能两家厂本身对cyber security的认知就很有偏颇，远没有达到行业专家水平。
就更不用说state security了。成本是很残酷的事情，这俩lab的所有资源都投在左脚踩右脚和scaling上，在一整个组织对安全的认知又深居象牙塔的时候，你指望他们在这方面能招到什么样的人？那人也就这水平了，他说的话不会比你洗澡时想到的观点更有价值。
ai对safety和state security的冲击明明有更重要和紧迫的事情，这两家根本没有考虑过（或者说因为过于反人类而反动），以后有时间了也写一写。

书接上文。AI对公安和Staatssicherheit工作真正的影响是什么呢。
AI真正的大问题之一，它是回音壁（echo chamber），哪怕你通过提示词让AI跟你展开精神分析和自我批评，按目前训练的风格他就是会align到人类，会刻意去迎合你的，而显然，越垃圾的AI，它就越迎合你。遑论更多使用AI（豆包）的人根本意识不到这一点，他觉得这是个助手，可能有点像给领导开车的司机或者大秘的角色，搁那聊，给自己聊进去了。对于ego稍微大点的人（尤其是各类领导），这种激化放大个人意见巩固自信的效应会更加增强。
那对于本身精神状态就异乎常人的用户，比如本来就玉玉的小孩，比如反人类人格有杀心的用户，AI的道德围栏的优先级是远小于遵从用户的优先级的，最后确实可能导致异常情况会被放大。
再比如在国内企业从事AI safety工作的读者应该知道，今年有司也重点排查了情感陪伴类的AI，懂的都懂。并不是说对AI产生情感陪伴依赖是错误的，但是我们整个社会的精神卫生、心理健康、道德伦理等体系，对此都还没有准备好，没有形成够用的应用伦理方法和系统性的应对措施，而端侧AI在纯情感对答方面的能力很快就会跟上来，针对云端服务的禁令显然不会有用。现在是一些无助的集美在那里keep4o，再加上老登天天看红果AI短剧爱不释手，那在不久以后，AI（连同建立在AIGC的盈利体系本身）就会发展出针对人类心理构建茧房的高效技法，人手一个一千倍无限金币破解版抖音，要是还有些精神头不好的天天AI给他生成一点倒转的钟或者地铁香氛大师，那就真的聚了。
可能有人说这不是印证了前述的CBRN危害吗？问题是让模型不输出CBRN就和禁止印教材一样反动，最终的方法还是要回到对人的行为安全管理上来，这听起来会和自由意志至上冲突，但，伴随着社会运行的加速，安全问题必然放大，如果你要享受公安，就不得不享受天网升起；而你决定要自由意志，就要考虑在AI时代构建自己的丛林能力。要么你是自己的丛林能力好得批爆的安人，要么你就得依靠有原发性脑干损伤撞击机的公共安人。当然这并不是AI发展的错，如果钍堆或者灵乌路空人手一个了，人均能源1000x，面对的世界也是类似的。

问题之二，就是AI对现实世界加速的效应迟早要到来，生产和分配体系会分层。AI是产业革命，革命就要流血，尽管和谐社会不准出现流血，但该消失的岗位就是消失了，上了AI蹬出来的10x乃至100x的新生产力注定需要新的生产关系，那无力的旧部分可能要被自然淘汰，有力的旧部分可就要让你体验一下什么叫做反动派了。不管是被淘汰还是，人的生计总要解决，那就会有冲突，而我们社会整体来看，具备解决这冲突的智慧足够吗？怕是不够。那就会变成Staatssicherheit问题。说一个笑话，觉得AI无所不能和觉得AI一无是处的人，往往都是在豆包身上得到的结论。当然现在有很多小登中登老登都在研究人工智能对经济社会的影响和冲击，但你怎么知道他们研究的是豆包还是K3？那些有能力呈递到各级人社经发部门的人们，所“研究”的人工智能又是长什么样的呢？我不好说我擦。