Claude的关键术语介绍

这些概念并非 Anthropic 语言模型所独有，但我们在下面简要总结了一些关键术语。

上下文窗口

“上下文窗口”是指语言模型在生成新文本时可以回顾和参考的文本量。这与语言模型训练所使用的大型语料库数据不同，而是代表了模型的”工作记忆”。较大的上下文窗口允许模型理解和响应更复杂和冗长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长对话中保持连贯性的能力。

微调

微调是使用额外数据对预训练语言模型进行进一步训练的过程。这会导致模型开始表示和模仿微调数据集的模式和特征。Claude 不是一个原始的语言模型，它已经经过微调成为一个有用的助手。我们的 API 目前不提供微调功能，但如果您有兴趣探索这个选项，请与您的 Anthropic 联系人沟通。

HHH

这三个 H 代表 Anthropic 在确保 Claude 有益于社会方面的目标：

• Helpful（有帮助）：AI 会尽最大努力执行给定的任务或回答问题，提供相关和有用的信息。
• Honest（诚实）：AI 会给出准确的信息，不会臆想或编造。在适当的时候，它会承认自己的局限性和不确定性。
• Harmless（无害）：AI 不会冒犯或歧视他人，当被要求协助危险或不道德的行为时，AI 应礼貌地拒绝并解释无法遵从的原因。

延迟

在生成式 AI 和大型语言模型的背景下，延迟是指模型响应给定提示所需的时间。它是提交提示和收到生成输出之间的延迟。较低的延迟表示响应时间更快，这对实时应用、聊天机器人和交互式体验至关重要。

LLM

大型语言模型（LLM）是具有许多参数的 AI 语言模型，能够执行各种出人意料的有用任务。这些模型在大量文本数据上进行训练，可以生成类似人类的文本、回答问题、总结信息等。Claude 是一个基于大型语言模型的对话助手，经过微调和 RLHF 训练，使其更加有帮助、诚实和无害。

预训练

预训练是在大型未标记文本语料库上初步训练语言模型的过程。自回归语言模型（如 Claude 的底层模型）经过预训练，以根据文档中先前的文本上下文预测下一个单词。微调和 RLHF 用于改进这些预训练模型，使其更适用于广泛的任务。

RAG（检索增强生成）

检索增强生成（RAG）是一种结合信息检索和语言模型生成的技术，旨在提高生成文本的准确性和相关性。在 RAG 中，语言模型通过传入上下文窗口的外部知识库或一组文档来增强。模型使用这些信息来指导其生成的输出。

RLHF

人类反馈强化学习（RLHF）是一种用于训练预训练语言模型以符合人类偏好的方式行事的技术。这可以包括帮助模型更有效地遵循指令或更像聊天机器人。Claude 已经使用 RLHF 进行训练，成为一个更有帮助的助手。

温度

温度是一个参数，用于控制模型在文本生成过程中预测的随机性。较高的温度会导致更有创意和多样化的输出，较低的温度会产生更保守和确定性的输出。

TTFT（首个 token 生成时间）

首个 token 生成时间（TTFT）是一个性能指标，用于衡量语言模型在收到提示后生成输出的第一个 token 所需的时间。较低的 TTFT 表示模型可以更快地开始生成响应。

Tokens

Tokens 是语言模型的最小单个单位，可以对应单词、子词、字符，甚至字节。在与语言模型进行“文本”级别的交互时，tokens 通常是隐藏的，但在检查语言模型的确切输入和输出时就变得相关了。

想了解如何利用RPA+AI打造图文工厂 扫描下方二维码加入星球