← 返回栏目

提示词对照实验:先定义怎样算有效

一份尚未执行的实验方案,比较提示词结构如何影响回答的可核查性。

记录类型
实验方案 · 尚未执行
环境说明
执行时记录模型名称、版本、运行平台与推理参数;当前尚未调用模型。

提出一个可检验的问题

在相同输入材料下,要求模型分别列出事实、推断和待核查项,是否比开放式提问更便于人工核查?这个问题不能用“回答看起来更好”来验收。

控制变量与复现步骤

  1. 使用自己编写的公开测试材料,提前标注哪些事实可以从材料中得到。
  2. 固定模型版本、参数和输入;记录运行平台,不使用企业资料或个人敏感数据。
  3. 分别使用开放式提问和要求区分事实、推断的提示词,各运行多次,保存原始输出。
  4. 人工对照材料,记录未支持的断言、遗漏和标注是否清楚。
  5. 保留失败输出与环境信息,避免只挑选满意的结果。

结果记录模板

项目 应记录的信息
输入版本 材料来源、修改日期与文件哈希
执行条件 模型、平台、版本、参数与运行次数
观察项 无来源断言数量、关键事实遗漏与复核耗时
限制 样本范围、人工评价偏差与不可推广的场景

当前结论

尚未执行,不能判断哪一种提示词更有效。实验应先在独立环境实施,结果核对后另行发布报告;这个页面不连接模型 API。