提出一个可检验的问题
在相同输入材料下,要求模型分别列出事实、推断和待核查项,是否比开放式提问更便于人工核查?这个问题不能用“回答看起来更好”来验收。
控制变量与复现步骤
- 使用自己编写的公开测试材料,提前标注哪些事实可以从材料中得到。
- 固定模型版本、参数和输入;记录运行平台,不使用企业资料或个人敏感数据。
- 分别使用开放式提问和要求区分事实、推断的提示词,各运行多次,保存原始输出。
- 人工对照材料,记录未支持的断言、遗漏和标注是否清楚。
- 保留失败输出与环境信息,避免只挑选满意的结果。
结果记录模板
| 项目 | 应记录的信息 |
|---|---|
| 输入版本 | 材料来源、修改日期与文件哈希 |
| 执行条件 | 模型、平台、版本、参数与运行次数 |
| 观察项 | 无来源断言数量、关键事实遗漏与复核耗时 |
| 限制 | 样本范围、人工评价偏差与不可推广的场景 |
当前结论
尚未执行,不能判断哪一种提示词更有效。实验应先在独立环境实施,结果核对后另行发布报告;这个页面不连接模型 API。