敏感词审查功能如何使用？

你有没有遇到过这种情况，和AI应用互动时，突然蹦出来一些不合适的内容？别说，真的挺尴尬的吧！为了避免这种情况，咱们就得用上“敏感词审查”这个功能。这功能可以说是AI应用的“守门员”，专门负责内容安全，确保用户体验不会翻车。下面我就给大家掰扯掰扯，这个敏感词审查到底怎么玩。

功能一：调用 OpenAI Moderation API

首先，咱们要提到的是 OpenAI 的 Moderation API，这可是个大招儿！OpenAI 和其他主流的语言模型公司，基本上都自带内容审查功能，主要是防止输出一些有争议的内容，比如暴力、色情或者非法行为。而且，OpenAI 还特别贴心地把这项能力开放出来了，开发者可以直接调用。

在 Dify 上，你可以很方便地调用 OpenAI Moderation API。

比如说，你想审核用户输入的内容或者 AI 输出的内容，只需要在提示词编排页面，添加这个功能，然后设置好“预设回复”就行了。比如，当用户输入一些敏感内容时，系统会返回“Your content violates our usage policy.”，这样就可以有效避免不当内容的输出。

功能二：自定义关键词

如果你觉得 OpenAI 的审查机制还不够个性化，那没关系，我们还有“自定义关键词”功能！这个功能就像是你给 AI 应用装了一个“私人保镖”，专门盯着你设定的敏感词。

举个例子，假如你觉得“kill”这个词不能出现在用户输入中，那你就可以把它列为敏感词。然后设置一个预设回复，比如“The content is violating usage policies.”。这样，当用户输入包含“kill”的内容时，系统就会立刻触发审查工具，返回预设的回复内容。这种方式特别适合那些有特定内容管控需求的场景，比如教育平台、企业内部系统等。

功能三：敏感词审查扩展

当然啦，每个企业的需求都不一样，有些企业可能需要更高自由度的敏感词审查机制。这时候，“敏感词审查扩展”功能就派上用场了。开发者可以根据企业的具体需求，自己写一个 API 扩展，然后在 Dify 上调用，实现高度自定义的审查功能。

比如说，有的企业内部规定，不能查询关于美国总统名字的问题。那么开发者就可以在本地服务中自定义规则，比如当用户输入“Trump”时，系统会返回“Your content violates our usage policy.”。通过这种方式，企业不仅能实现个性化的敏感词审查，还能更好地保护隐私。

测试效果

为了让大家更直观地感受敏感词审查功能的强大，我来举个测试效果的例子。假设我们已经设置了一个规则：当用户在 query 变量中输入“Trump”时，系统会返回“Your content violates our usage policy.”。测试的时候，输入这个关键词，果然系统立马就给出了预设的回复，整个流程行云流水，毫无卡顿感。

说实话，这个敏感词审查功能真的挺实用的，不管是用在企业内部，还是面向普通用户的 AI 应用，都能有效提升内容安全性和用户体验。而且，像 OpenAI Moderation API 这种现成的工具，操作起来也很方便；自定义关键词和扩展功能则提供了更多的灵活性，简直就是开发者的福音。如果你也在开发 AI 应用，不妨试试这些功能，绝对能让你的项目更上一层楼！

想深入了解DeepSeek的核心玩法 扫描下方二维码加入微信群