单节点数据工程:DuckDB、DataFusion、Polars、LakeSail
数据工程迎来单节点复兴。借助 Apache Arrow 列式内存格式与向量化执行引擎,现代工具能在单台机器上处理百 GB 甚至 TB 级数据,无需分布式 JVM 集群。
- DuckDB:内嵌式 SQL 分析引擎,支持向量化执行与超内存溢出(out-of-core),零配置运行。
- Apache Arrow DataFusion:Rust 编写的模块化查询引擎框架,可构建自定义数据库或数据平台。
- Polars:Rust 原生 DataFrame 库,提供惰性查询优化与稳定流式执行引擎,支持超内存数据集。
- LakeSail:基于 DataFusion 的零 JVM Spark 替代方案,通过 Spark Connect 协议原生运行 PySpark 管线。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
数据工程迎来单节点复兴。借助 Apache Arrow 列式内存格式与向量化执行引擎,现代工具能在单台机器上处理百 GB 甚至 TB 级数据,无需分布式 JVM 集群。
- DuckDB:内嵌式 SQL 分析引擎,支持向量化执行与超内存溢出(out-of-core),零配置运行。
- Apache Arrow DataFusion:Rust 编写的模块化查询引擎框架,可构建自定义数据库或数据平台。
- Polars:Rust 原生 DataFrame 库,提供惰性查询优化与稳定流式执行引擎,支持超内存数据集。
- LakeSail:基于 DataFusion 的零 JVM Spark 替代方案,通过 Spark Connect 协议原生运行 PySpark 管线。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
零AI的AI代理行为检测工具
检测AI编码助手在PR中的隐蔽违规行为,如悄悄扩权、配置矛盾、未声明网络调用。作者采用确定性规则作为CI门控,无LLM参与,确保可复现、无幻觉、本地运行、免费且可审计。
- 包含五个检测器:配置/权限漂移、配置矛盾、网络/子进程信号、任务-变更不匹配、会话风险
- 元审查器合并结果,按严重性排序,关键项直接阻断CI
- 提供“流氓PR”演示,可作评估基准
- 完全开源,代码、演示和文档已公开
GitHub
#开发者 #工具
📢 频道:@DevToolboxHub
检测AI编码助手在PR中的隐蔽违规行为,如悄悄扩权、配置矛盾、未声明网络调用。作者采用确定性规则作为CI门控,无LLM参与,确保可复现、无幻觉、本地运行、免费且可审计。
- 包含五个检测器:配置/权限漂移、配置矛盾、网络/子进程信号、任务-变更不匹配、会话风险
- 元审查器合并结果,按严重性排序,关键项直接阻断CI
- 提供“流氓PR”演示,可作评估基准
- 完全开源,代码、演示和文档已公开
GitHub
#开发者 #工具
📢 频道:@DevToolboxHub
Paycore:混合云支付后端架构
Paycore 是一个混合云 B2B 支付中间件,将 FastAPI 应用部署在本地 Proxmox VM,通过 WireGuard VPN 桥接到 AWS 无服务器基础设施。
- 网络拓扑:HTTPS 请求经 Cloudflare → Nginx → 本地 VM 上的 FastAPI,处理后写入 PostgreSQL 并推送至 SQS;Lambda 从 SQS 消费,通过 WireGuard 隧道回写状态,VM 无公网 IP
- 安全设计:PAN 到达立即 token 化存储;商户端用 JWT,Lambda 回调用独立 API key;密码存储采用 bcrypt_sha256 避免截断;KMS CMK 加密 S3 和 Secrets Manager
- 故障转移:双 EC2 节点作为 WireGuard 网关,CloudWatch 监控主节点健康,故障时 Lambda 将弹性 IP 迁移至备用节点,VPC 路由表不变
- 部署管道:Ansible 构建 Proxmox 模板,Terraform 管理 AWS 资源,运维脚本配置 VPN 并部署 Docker 栈
代码公开在 GitHub,文档记录了已知缺口(本地 terraform 状态、路由表故障转移窗口等)。
链接:原文链接
GitHub:github.com/escanut/paycore-hybrid-payment-infra
#开发者 #工具
📢 频道:@DevToolboxHub
Paycore 是一个混合云 B2B 支付中间件,将 FastAPI 应用部署在本地 Proxmox VM,通过 WireGuard VPN 桥接到 AWS 无服务器基础设施。
- 网络拓扑:HTTPS 请求经 Cloudflare → Nginx → 本地 VM 上的 FastAPI,处理后写入 PostgreSQL 并推送至 SQS;Lambda 从 SQS 消费,通过 WireGuard 隧道回写状态,VM 无公网 IP
- 安全设计:PAN 到达立即 token 化存储;商户端用 JWT,Lambda 回调用独立 API key;密码存储采用 bcrypt_sha256 避免截断;KMS CMK 加密 S3 和 Secrets Manager
- 故障转移:双 EC2 节点作为 WireGuard 网关,CloudWatch 监控主节点健康,故障时 Lambda 将弹性 IP 迁移至备用节点,VPC 路由表不变
- 部署管道:Ansible 构建 Proxmox 模板,Terraform 管理 AWS 资源,运维脚本配置 VPN 并部署 Docker 栈
代码公开在 GitHub,文档记录了已知缺口(本地 terraform 状态、路由表故障转移窗口等)。
链接:原文链接
GitHub:github.com/escanut/paycore-hybrid-payment-infra
#开发者 #工具
📢 频道:@DevToolboxHub
Web API 认证指南:7 种方法及选择
一篇实用的 API 认证与授权指南,覆盖主流方法与场景选择。文中包含 Python 代码示例和决策矩阵,帮助开发者根据信任模型、客户端类型和敏感度匹配正确方案。
- API Keys:适用于已知客户端的服务端通信、公开 API 或简单内部工具,需留意泄露后永久有效
- JWT:适用于无状态分布式系统(微服务 / CDN / SPA),必须设置过期时间、校验算法和 audience
- OAuth 2.0:用于委托访问(用户授权第三方应用),移动端/浏览器客户端必须使用 PKCE
- HMAC 签名:用于 Webhook 和高完整性财务 API,签名整个请求,防止篡改和重放
- mTLS:零信任架构和服务网格的基础,提供传输层双向身份验证,操作复杂度最高
- Basic Auth:仅适合内部工具或 VPN 后端的低风险场景,必须配合 HTTPS
- 开放 ID Connect (OIDC):需要第三方登录(Google/GitHub)时使用,无需管理密码
常见错误包括混淆 401 与 403、未验证 token audience、记录敏感头信息、不轮换 token 等。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
一篇实用的 API 认证与授权指南,覆盖主流方法与场景选择。文中包含 Python 代码示例和决策矩阵,帮助开发者根据信任模型、客户端类型和敏感度匹配正确方案。
- API Keys:适用于已知客户端的服务端通信、公开 API 或简单内部工具,需留意泄露后永久有效
- JWT:适用于无状态分布式系统(微服务 / CDN / SPA),必须设置过期时间、校验算法和 audience
- OAuth 2.0:用于委托访问(用户授权第三方应用),移动端/浏览器客户端必须使用 PKCE
- HMAC 签名:用于 Webhook 和高完整性财务 API,签名整个请求,防止篡改和重放
- mTLS:零信任架构和服务网格的基础,提供传输层双向身份验证,操作复杂度最高
- Basic Auth:仅适合内部工具或 VPN 后端的低风险场景,必须配合 HTTPS
- 开放 ID Connect (OIDC):需要第三方登录(Google/GitHub)时使用,无需管理密码
常见错误包括混淆 401 与 403、未验证 token audience、记录敏感头信息、不轮换 token 等。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
PROOFER:隐私优先的浏览器校对扩展
PROOFER 是一款 Chrome 扩展,利用 Gemma 4 在任意可编辑文本域(邮件、Discord、社交帖子等)内实现即时校对,无需切换页面。核心特点:
- 选中文本后通过浮动按钮、右键菜单或快捷键触发校对,流式返回结果并显示视觉差异对比。
- 自带模型配置,支持 LM Studio、Ollama 或任何 OpenAI 兼容 API,可本地运行 Gemma 4,确保数据不离开设备。
- 提供四种编辑风格:校对(拼写/语法/标点)、改写(清晰流畅)、专业(正式润色)、精简(缩短文本)。
- 支持流式响应、连接测试及按域名/正则禁用扩展。
https://github.com/SamirMishra27/proofer_proofreading_web_extension.git
来源:[原文链接)
#开发者 #工具
📢 频道:@DevToolboxHub
PROOFER 是一款 Chrome 扩展,利用 Gemma 4 在任意可编辑文本域(邮件、Discord、社交帖子等)内实现即时校对,无需切换页面。核心特点:
- 选中文本后通过浮动按钮、右键菜单或快捷键触发校对,流式返回结果并显示视觉差异对比。
- 自带模型配置,支持 LM Studio、Ollama 或任何 OpenAI 兼容 API,可本地运行 Gemma 4,确保数据不离开设备。
- 提供四种编辑风格:校对(拼写/语法/标点)、改写(清晰流畅)、专业(正式润色)、精简(缩短文本)。
- 支持流式响应、连接测试及按域名/正则禁用扩展。
https://github.com/SamirMishra27/proofer_proofreading_web_extension.git
来源:[原文链接)
#开发者 #工具
📢 频道:@DevToolboxHub
调试旧版内核调试环境搭建
利用 Docker + QEMU + VS Code 搭建工作流,用于调试旧版 Linux 内核(如 v4.7 的 Dirty COW)。核心步骤:
- 用 Docker 拉取对应版本(如 Ubuntu 16.04)并定制 Dockerfile 以匹配老内核所需的 GCC/LD 版本
- 在 Docker 中编译内核源码,生成 vmlinux 与 bzImage
- 使用 BusyBox 编译并创建 initramfs.cpio.gz,QEMU 启动虚拟机
- VS Code 通过 GDB 连接 QEMU,支持断点、寄存器查看与符号加载
作者还提供了自动化脚本 run_qemu.sh 快速切换内核版本及注入 LKM。
原文
#开发者 #工具
📢 频道:@DevToolboxHub
利用 Docker + QEMU + VS Code 搭建工作流,用于调试旧版 Linux 内核(如 v4.7 的 Dirty COW)。核心步骤:
- 用 Docker 拉取对应版本(如 Ubuntu 16.04)并定制 Dockerfile 以匹配老内核所需的 GCC/LD 版本
- 在 Docker 中编译内核源码,生成 vmlinux 与 bzImage
- 使用 BusyBox 编译并创建 initramfs.cpio.gz,QEMU 启动虚拟机
- VS Code 通过 GDB 连接 QEMU,支持断点、寄存器查看与符号加载
作者还提供了自动化脚本 run_qemu.sh 快速切换内核版本及注入 LKM。
原文
#开发者 #工具
📢 频道:@DevToolboxHub
本地AI隐私防火墙 PromptGuard
PromptGuard 是一个本地优先的隐私防火墙,由 Python 后端和 Chrome 扩展组成,用于在用户将提示发送到 ChatGPT 或 Claude.ai 之前,自动脱敏其中的敏感个人信息。
- 两阶段脱敏:正则表达式快速捕获 NIC 号码、邮箱、电话等已知模式,再通过本地运行的 Gemma 4:e4b(MoE 架构)识别上下文中的姓名、健康信息、组织名称等
- 完全本地运行:Gemma 4:e4b 通过 Ollama 在本地执行,原始提示从不离开用户设备
- 集成方式:Chrome 扩展注入“Sanitize”按钮,点击后自动替换输入框中的敏感内容
- 适配法律合规框架:脱敏策略参考斯里兰卡 PDPA、GDPR 等法规定义
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
PromptGuard 是一个本地优先的隐私防火墙,由 Python 后端和 Chrome 扩展组成,用于在用户将提示发送到 ChatGPT 或 Claude.ai 之前,自动脱敏其中的敏感个人信息。
- 两阶段脱敏:正则表达式快速捕获 NIC 号码、邮箱、电话等已知模式,再通过本地运行的 Gemma 4:e4b(MoE 架构)识别上下文中的姓名、健康信息、组织名称等
- 完全本地运行:Gemma 4:e4b 通过 Ollama 在本地执行,原始提示从不离开用户设备
- 集成方式:Chrome 扩展注入“Sanitize”按钮,点击后自动替换输入框中的敏感内容
- 适配法律合规框架:脱敏策略参考斯里兰卡 PDPA、GDPR 等法规定义
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
SRE错误预算:经济基础设施的断路器
本文以Knight Capital事件为引,阐述错误预算(Error Budget)作为SRE核心机制,如何从SLO推导并自动部署门控,进而成为国家关键基础设施的可靠性治理工具。
- 错误预算定义:从SLO(如99.9%可用性)推导,28天滚动窗口内允许的失败请求量(约43.8分钟完全不可用)。预算是一种战略资源,而非避免突破的阈值。
- 三级策略:健康(>75%剩余)可正常发布;退化(25-75%)限制部署频率;耗尽(<25%)冻结所有高风险变更,仅允许P0事故修复,需VP和SRE Lead联合批准覆写。
- 自动化门控:通过Argo CD PreSync Hook实现,在Kubernetes资源变更前执行,查询Prometheus剩余预算,耗尽时自动阻止同步;告警规则驱动策略迁移,支持14倍燃烧率实时告警。
- 货币化与治理:将预算剩余转换为美元金额,通过Splunk转发器为管理层提供经济影响仪表盘;映射到监管机构(如OCC SR 21-3)的操作韧性要求。
- 常见反模式:SLO设置过低、有预算无策略、仅关注重大事故忽略慢性消耗、开发团队豁免、覆写无审计。需通过成熟度模型逐步优化。
来源:开发者工具库|工程效率
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
本文以Knight Capital事件为引,阐述错误预算(Error Budget)作为SRE核心机制,如何从SLO推导并自动部署门控,进而成为国家关键基础设施的可靠性治理工具。
- 错误预算定义:从SLO(如99.9%可用性)推导,28天滚动窗口内允许的失败请求量(约43.8分钟完全不可用)。预算是一种战略资源,而非避免突破的阈值。
- 三级策略:健康(>75%剩余)可正常发布;退化(25-75%)限制部署频率;耗尽(<25%)冻结所有高风险变更,仅允许P0事故修复,需VP和SRE Lead联合批准覆写。
- 自动化门控:通过Argo CD PreSync Hook实现,在Kubernetes资源变更前执行,查询Prometheus剩余预算,耗尽时自动阻止同步;告警规则驱动策略迁移,支持14倍燃烧率实时告警。
- 货币化与治理:将预算剩余转换为美元金额,通过Splunk转发器为管理层提供经济影响仪表盘;映射到监管机构(如OCC SR 21-3)的操作韧性要求。
- 常见反模式:SLO设置过低、有预算无策略、仅关注重大事故忽略慢性消耗、开发团队豁免、覆写无审计。需通过成熟度模型逐步优化。
来源:开发者工具库|工程效率
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
LLM结构化输出基准:三家API差距显著
一项针对 OpenAI、Anthropic、Gemini 六款模型的基准测试发现,“结构化输出”功能在实际生产中远非可靠契约。测试涉及 8 个异构 JSON Schema 和两种独立验证器(ajv、hyperjump)。
- Anthropic 接受所有 Schema,但对 7 层嵌套对象(S3)会静默返回错误形状:对象字段被序列化为字符串,HTTP 200 且无错误提示。
- OpenAI 的 strict: true 模式拒绝大部分标准 Schema(8 个中仅通过 2 个),但通过后严格遵循。
- Gemini 处于中间:拒绝 oneOf、type-arrays 等特性,但接受的 Schema 能严格遵循,且成功处理了 Anthropic 失败的 7 层嵌套。
建议在管道中加入独立校验,对 Anthropic 扁平化 Schema,OpenAI 使用 additionalProperties: false,Gemini 避免 oneOf。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
一项针对 OpenAI、Anthropic、Gemini 六款模型的基准测试发现,“结构化输出”功能在实际生产中远非可靠契约。测试涉及 8 个异构 JSON Schema 和两种独立验证器(ajv、hyperjump)。
- Anthropic 接受所有 Schema,但对 7 层嵌套对象(S3)会静默返回错误形状:对象字段被序列化为字符串,HTTP 200 且无错误提示。
- OpenAI 的 strict: true 模式拒绝大部分标准 Schema(8 个中仅通过 2 个),但通过后严格遵循。
- Gemini 处于中间:拒绝 oneOf、type-arrays 等特性,但接受的 Schema 能严格遵循,且成功处理了 Anthropic 失败的 7 层嵌套。
建议在管道中加入独立校验,对 Anthropic 扁平化 Schema,OpenAI 使用 additionalProperties: false,Gemini 避免 oneOf。
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
多手机短信统一收件箱
跨 iOS/Android 查看多卡短信,无需搬 SIM。SMS Sender 24 提供多设备查看器架构:Android 机作为发射器推送短信到后端,iOS/Android 浏览器作为查看器接收原生推送。
- 架构:Android 发射器 + 多租户 pub/sub 后端 + 查看器(iOS app / iPad / Android viewer / 网页)
- 范围控制:查看器可设为查看全部发射器(tenant)或仅限某设备(device),实现按手机隔离
- 5 分钟设置:注册工作空间 → Android 装 app 扫码配对 → iOS 查看器扫码订阅,即时接收
- 免费计划:1 个发射器 + 无限查看器,月 100 条短信
原文链接
相关链接
#开发者 #工具
📢 频道:@DevToolboxHub
跨 iOS/Android 查看多卡短信,无需搬 SIM。SMS Sender 24 提供多设备查看器架构:Android 机作为发射器推送短信到后端,iOS/Android 浏览器作为查看器接收原生推送。
- 架构:Android 发射器 + 多租户 pub/sub 后端 + 查看器(iOS app / iPad / Android viewer / 网页)
- 范围控制:查看器可设为查看全部发射器(tenant)或仅限某设备(device),实现按手机隔离
- 5 分钟设置:注册工作空间 → Android 装 app 扫码配对 → iOS 查看器扫码订阅,即时接收
- 免费计划:1 个发射器 + 无限查看器,月 100 条短信
原文链接
相关链接
#开发者 #工具
📢 频道:@DevToolboxHub
用 Docker 运行 PHP 意外防住供应链攻击
2026年5月22日,Laravel-Lang 组织遭入侵,攻击者重写四个包的全部 git 标签,在 233 个版本中植入凭据窃取器。作者因通过 Docker 运行 PHP/Composer,容器仅挂载项目目录,未挂载家目录和系统目录,窃取器无法获取 SSH 密钥、云凭据、浏览器数据及密码管理器。但项目 .env 中的本地开发凭据和外部 API 密钥仍可能外泄。
- 攻击窗口:5月22日 22:32 UTC 至午夜运行 composer update 的用户可能中招。
- Docker 保护:家目录、系统密钥、浏览器/密码管理器数据被容器隔离。
- 未覆盖风险:项目目录 .env 内的本地凭据和外部 API 密钥仍可被窃取。
- 安全建议:使用本地服务开发、不挂载家目录、锁定 composer.lock 并验证 commit SHA。
原文
攻击详情
#开发者 #工具
📢 频道:@DevToolboxHub
2026年5月22日,Laravel-Lang 组织遭入侵,攻击者重写四个包的全部 git 标签,在 233 个版本中植入凭据窃取器。作者因通过 Docker 运行 PHP/Composer,容器仅挂载项目目录,未挂载家目录和系统目录,窃取器无法获取 SSH 密钥、云凭据、浏览器数据及密码管理器。但项目 .env 中的本地开发凭据和外部 API 密钥仍可能外泄。
- 攻击窗口:5月22日 22:32 UTC 至午夜运行 composer update 的用户可能中招。
- Docker 保护:家目录、系统密钥、浏览器/密码管理器数据被容器隔离。
- 未覆盖风险:项目目录 .env 内的本地凭据和外部 API 密钥仍可被窃取。
- 安全建议:使用本地服务开发、不挂载家目录、锁定 composer.lock 并验证 commit SHA。
原文
攻击详情
#开发者 #工具
📢 频道:@DevToolboxHub