大语言模型接收输入,再根据已有上下文生成后续内容。生成结果可以用于解释、摘要或代码辅助,但“句子通顺”不能证明事实正确。接入 Java 系统时,至少要分别处理输入预算、接口失败和回答核对。
Token 和上下文分别指什么
Token 是模型处理文本的单位,可能对应一个词、词的一部分或字符。同一段中文在不同分词器下的数量可能不同,不能直接用 String.length()、字节数或“一个汉字一个 Token”计算实际用量。
上下文是模型这次处理时能看到的信息,可能包括系统要求、历史消息、当前问题、检索资料和工具结果。把更多历史消息留在 Java 内存里,不等于它们已经传给模型。模型的容量、输入输出约束和计费口径还要按具体服务核对。
常见生成式语言模型会根据前文预测后续 Token。Transformer 有不同结构,不能把所有大模型都描述成同一个编码器加解码器组合;也不能把所有模型都视为联网搜索服务。需要新资料时,应显式接入检索并保留来源。
用一个小实验检查预算
下面假设业务已经从相应分词器或服务商接口取得输入 Token 数量,演示是否还能预留输出空间。8192 只是实验容量,不代表任何产品或模型的真实限制。
package site;
/** Arithmetic over supplied token counts; this class is not a tokenizer. */
public final class ContextBudget {
public static boolean fits(long contextLimit, long inputTokens, long reservedOutput) {
if (contextLimit <= 0 || inputTokens < 0 || reservedOutput < 0) {
throw new IllegalArgumentException("Token counts must be non-negative and limit positive");
}
return inputTokens <= contextLimit && reservedOutput <= contextLimit - inputTokens;
}
public static void main(String[] args) {
System.out.println("fits=" + fits(8192, 7000, 1024));
System.out.println("fits=" + fits(8192, 7500, 1024));
}
}
用减法比较剩余空间,可以避免把两个很大的正整数相加时溢出。这个函数没有实现分词,也没有调用模型;实际请求中的隐藏开销、推理输出等限制需要另行核对。
下载完整示例工程,解压进入 core 目录,使用 JDK 21 和 Maven 3.9.9 运行:
mvn package dependency:copy-dependencies -DincludeScope=runtime
java -cp 'target/classes:target/dependency/*' site.ContextBudget
首次构建需要下载公开依赖。命令使用 macOS/Linux 类路径分隔符;Windows 未在本轮验证。 本轮容器运行输出:
fits=true
fits=false
第一组输入预留后还有余量,第二组超出实验容量。可以把 inputTokens 改为负数观察参数检查;对应测试还覆盖了整数边界。
从回答可用到事实可信
模型返回成功状态,只能说明接口完成了相应处理。日期、版本、API 名称和代码行为还需要对照资料或运行结果。后面的 Java 接口教程保留了一次真实中转调用中对“线程池预先创建线程”的修订,说明接口成功与技术结论正确是两项检查。
RAG 会把检索到的资料加入上下文,不会自动修改模型权重。微调涉及参数更新,目标和成本不同。把业务文档放进提示词后,不宜描述成“模型已学会并永久记住业务”。