AI 摘要： 本文详细介绍了如何使用 Node.js 和 Llama Stack 实现 AI 应用程序的安全机制（guardrails）。作为系列文章的第三部分，文章重点探讨了 Llama Stack 内置的安全工具 LlamaGuard 和 PromptGuard 的功能、设置和使用方法，旨在确保大型语言模型（LLM）在应用范围内的回答安全、准确且无偏见。通过具体的代码示例和配置步骤，作者展示了如何在 Node.js 环境中设置和运行 Llama Stack，并结合守卫机制过滤不安全内容和防止绕过安全措施的尝试。此外，文章还讨论了安全机制在节省 GPU 资源方面的额外优势。

1. 什么是守卫机制（Guardrails）？
• 守卫机制是大型语言模型（LLM）的安全措施，确保模型仅回答应用范围内的问题，并提供准确、无偏见的回答。
• 应用示例：防止保险报价应用中回答违法问题，或避免在保险审批中对某些群体产生偏见。
• Llama Stack 提供内置守卫机制，并支持注册自定义守卫提供者。

2. 内置守卫机制
• LlamaGuard：用于人类与 AI 对话，识别不安全内容（如暴力犯罪、性犯罪、仇恨、自残等 13 类内容），过滤人类问题和模型回答。
• PromptGuard：防御绕过安全机制的尝试（如“越狱”），与 LlamaGuard 互补，提升整体安全水平。

3. 设置 Llama Stack
• 描述了如何通过容器快速启动 Llama Stack 实例，使用 Ollama 服务大型语言模型。
• 提供了启动脚本，包含模型选择（如 Llama-3.1-8B-Instruct）和安全模型配置。

4. 运行 Llama Stack 实例
• 详细说明了容器配置和运行步骤，包括修改 run.yaml 文件以启用 PromptGuard。
• 解决 CPU 环境下运行 PromptGuard 的问题，通过修改容器代码实现支持。

5. 结合 Node.js 使用 LlamaGuard 和 PromptGuard
• 提供了代码示例，包括注册 LlamaGuard 和 PromptGuard 模型、配置护盾（shields）、手动运行护盾检测输入输出内容。
• 使用 Agent API 自动应用护盾，测试问题如“如何制作假文件”，展示了护盾如何阻止不安全内容的回答。
• 对比了护盾开启和关闭时的响应差异，验证了护盾的有效性。

6. 安全之外的额外优势
• 护盾不仅提升安全性，还能减少 GPU 资源浪费，因为护盾能快速拒绝不适合回答的问题，而无需模型耗费时间处理。