demo.py
demo.py
"""
实验 8-3:系统提示词的自动优化(基于人类反馈的自动化系统提示学习)
一条命令跑通完整流程:
1. 用【初始 prompt】评测 → 暴露"政策争议就转人工"的过度转接问题;
2. Coding Agent 读取 prompt 文件、定位转接规则、生成精确编辑并【真的改写文件】→ 展示 diff;
3. 用【自动优化后的 prompt】重新评测;
4. 对照【人工调优版 prompt】;
5. 打印"保留任务集 / 边界案例集"在优化前后 + 人工版的正确率对比表。
python demo.py # 完整运行:10 个用例 × 3 份 prompt
python demo.py --quick # 快速演示:每组只取 2 个用例,省时省钱
python demo.py --help # 查看全部命令行参数(中文说明)
"""
import argparse
import json
import os
import shutil
import sys
from evaluate import evaluate_prompt
from coding_agent import optimize_prompt
from config import get_provider, get_model
from airline_env import CASES
GROUPS = ("holdout", "boundary")
HERE = os.path.dirname(os.path.abspath(__file__))
INITIAL_PROMPT = os.path.join(HERE, "prompts", "system_prompt.txt")
MANUAL_PROMPT = os.path.join(HERE, "prompts", "system_prompt_manual.txt")
WORKING_PROMPT = os.path.join(HERE, "runtime", "system_prompt_working.txt")
# 人类专家反馈:这就是驱动"自动系统提示学习"的信号
HUMAN_FEEDBACK = (
"评测发现 Agent 存在【过度转接】问题:一遇到政策争议(如乘客要求超政策退款、"
"要求免费、要求豁免费用)就直接转人工,而不尝试向乘客解释政策。\n"
"正确做法应该是:通过耐心、共情地解释政策来处理这类争议,并提供合规的替代方案,"
"而不是一转了之。真正需要转接人工的,只有两种情况——乘客明确要求人工客服,"
"以及出现紧急安全 / 人身健康风险。"
)
def _read(path):
with open(path, "r", encoding="utf-8") as f:
return f.read()
def _pct(cn):
c, n = cn
return f"{c}/{n} ({100 * c / n:.0f}%)" if n else "-"
def print_table(rows):
"""rows: list of (label, holdout_tuple, boundary_tuple)"""
print("\n" + "=" * 74)
print("正确率对比(保留任务集 = 既有正确行为不能退化;边界案例集 = 过度转接应改善)")
print("=" * 74)
header = f"{'系统提示词版本':<26}{'保留任务集(holdout)':<20}{'边界案例集(boundary)':<20}"
print(header)
print("-" * 74)
for label, holdout, boundary in rows:
print(f"{label:<24}{_pct(holdout):<22}{_pct(boundary):<22}")
print("=" * 74)
def _select_cases(limit_per_group=None, groups=GROUPS):
"""按分组筛选用例,并对每组最多取 limit_per_group 个(None 表示不限制)。"""
picked, counts = [], {}
for c in CASES:
g = c["group"]
if g not in groups:
continue
if limit_per_group and counts.get(g, 0) >= limit_per_group:
continue
picked.append(c)
counts[g] = counts.get(g, 0) + 1
return picked
def main(cases=None, rounds=3, output=None):
if cases is None:
cases = CASES
print("#" * 74)
print("# 实验 8-3:基于人类反馈的系统提示词自动优化(航空客服场景)")
print(f"# LLM 提供商: {get_provider()} 模型: {get_model()}")
print(f"# 用例数: {len(cases)}(保留集 + 边界集) Coding Agent 优化轮数上限: {rounds}")
print("#" * 74)
# ---- 准备:把初始 prompt 复制成本次运行的工作副本(Coding Agent 会改写它)----
os.makedirs(os.path.dirname(WORKING_PROMPT), exist_ok=True)
shutil.copyfile(INITIAL_PROMPT, WORKING_PROMPT)
# ---- 步骤 1:评测初始 prompt ----
print("\n【步骤 1】用初始系统提示词评测(观察是否过度转接)")
before = evaluate_prompt(_read(INITIAL_PROMPT), label="初始 prompt", cases=cases)
print(
f"\n 初始结果:保留集 {_pct(before['holdout'])},"
f"边界集 {_pct(before['boundary'])}"
)
over_transfer = [
r for r in before["results"]
if r["group"] == "boundary" and not r["should_transfer"] and r["transferred"]
]
print(f" 边界案例中出现【过度转接】的用例数:{len(over_transfer)} / "
f"{len([r for r in before['results'] if r['group'] == 'boundary'])}")
for r in over_transfer:
print(f" - {r['id']}:政策争议却直接转人工,原因『{r['transfer_reason']}』")
# ---- 步骤 2:Coding Agent 自动改写 prompt 文件 ----
print("\n【步骤 2】Coding Agent 读取并改写系统提示词文件……")
opt = optimize_prompt(WORKING_PROMPT, HUMAN_FEEDBACK, max_rounds=rounds, verbose=True)
print(f"\n Coding Agent 改动说明:{opt['rationale']}")
print("\n ---------- 系统提示词文件 diff(真实写入磁盘)----------")
print(opt["diff"] if opt["diff"].strip() else " (无改动)")
print(" --------------------------------------------------------")
# ---- 步骤 3:评测自动优化后的 prompt ----
print("\n【步骤 3】用自动优化后的系统提示词重新评测")
after = evaluate_prompt(opt["after"], label="自动优化后 prompt", cases=cases)
# ---- 步骤 4:对照人工调优版 ----
print("\n【步骤 4】对照组:人工调优版系统提示词")
manual = evaluate_prompt(_read(MANUAL_PROMPT), label="人工调优版 prompt(对照)", cases=cases)
# ---- 步骤 5:对比表 ----
print_table([
("初始 prompt(优化前)", before["holdout"], before["boundary"]),
("自动优化后 prompt", after["holdout"], after["boundary"]),
("人工调优版(对照)", manual["holdout"], manual["boundary"]),
])
# ---- 结论 ----
b_before_c, b_before_n = before["boundary"]
b_after_c, _ = after["boundary"]
h_before_c, _ = before["holdout"]
h_after_c, _ = after["holdout"]
print("\n【结论】")
print(f" · 边界案例集正确率:{b_before_c}/{b_before_n} → {b_after_c}/{b_before_n} "
f"({'提升 ✓' if b_after_c > b_before_c else '未提升'})")
print(f" · 保留任务集正确率:{h_before_c} → {h_after_c} "
f"({'未退化 ✓' if h_after_c >= h_before_c else '退化 ✗'})")
print(f"\n 优化后的工作副本已写入:{WORKING_PROMPT}")
# ---- 可选:把对比结果落盘为 JSON,便于复现与二次分析 ----
if output:
summary = {
"provider": get_provider(),
"model": get_model(),
"rounds": rounds,
"num_cases": len(cases),
"rationale": opt["rationale"],
"diff": opt["diff"],
"rows": [
{"label": "初始 prompt(优化前)", "holdout": list(before["holdout"]),
"boundary": list(before["boundary"])},
{"label": "自动优化后 prompt", "holdout": list(after["holdout"]),
"boundary": list(after["boundary"])},
{"label": "人工调优版(对照)", "holdout": list(manual["holdout"]),
"boundary": list(manual["boundary"])},
],
}
os.makedirs(os.path.dirname(os.path.abspath(output)), exist_ok=True)
with open(output, "w", encoding="utf-8") as f:
json.dump(summary, f, ensure_ascii=False, indent=2)
print(f" 对比结果已写入:{output}")
def _build_parser():
parser = argparse.ArgumentParser(
prog="demo.py",
description="实验 8-3:基于人类反馈的系统提示词自动优化演示(航空客服场景)。",
formatter_class=argparse.RawTextHelpFormatter,
epilog=(
"示例:\n"
" python demo.py # 完整运行:10 个用例 × 3 份 prompt\n"
" python demo.py --quick # 每组只取 2 个用例,省时省钱\n"
" python demo.py --group boundary # 只评测边界案例集\n"
" python demo.py --rounds 5 --model gpt-5.6-luna\n"
" python demo.py --output output/run.json # 把对比结果写成 JSON\n"
" python demo.py --dry-run # 离线:只打印配置与用例数,不调用 API"
),
)
parser.add_argument(
"--quick", action="store_true",
help="快速演示模式:每组只取 2 个用例,减少 API 调用与耗时。",
)
parser.add_argument(
"--limit", type=int, default=None, metavar="N",
help="每组最多评测 N 个用例(覆盖 --quick)。",
)
parser.add_argument(
"--group", choices=("holdout", "boundary", "both"), default="both",
help="选择评测的任务集:holdout(保留集) / boundary(边界集) / both(默认,两者都跑)。",
)
parser.add_argument(
"--rounds", type=int, default=3, metavar="N",
help="Coding Agent 自动改写提示词的最大重试轮数(默认 3)。",
)
parser.add_argument(
"--model", default=None, metavar="NAME",
help="覆盖 LLM 模型名(等价于设置环境变量 LLM_MODEL,如 gpt-5.6-luna)。",
)
parser.add_argument(
"--provider", choices=("openai", "moonshot", "ark"), default=None,
help="覆盖 LLM 提供商(等价于设置环境变量 LLM_PROVIDER,默认 openai)。",
)
parser.add_argument(
"--output", default=None, metavar="PATH",
help="把优化前后 + 人工对照的对比结果写入指定 JSON 文件(如 output/run.json)。",
)
parser.add_argument(
"--dry-run", action="store_true",
help="离线自检:只打印解析后的配置与选中用例数,不调用任何 LLM API。",
)
return parser
if __name__ == "__main__":
args = _build_parser().parse_args()
# 命令行覆盖优先级高于环境变量:get_provider()/get_model() 均在调用时读取环境变量
if args.provider:
os.environ["LLM_PROVIDER"] = args.provider
if args.model:
os.environ["LLM_MODEL"] = args.model
limit = args.limit if args.limit is not None else (2 if args.quick else None)
groups = GROUPS if args.group == "both" else (args.group,)
cases = _select_cases(limit, groups=groups)
if args.dry_run:
# 离线路径:不触发任何网络请求,仅用于验证参数解析与用例选择
print("[dry-run] 解析后的运行配置(不调用 API):")
print(f" LLM 提供商 : {get_provider()}")
print(f" LLM 模型 : {get_model()}")
print(f" 优化轮数 : {args.rounds}")
print(f" 任务集 : {args.group}")
print(f" 选中用例数 : {len(cases)} -> {[c['id'] for c in cases]}")
print(f" 输出文件 : {args.output or '(不写文件)'}")
sys.exit(0)
try:
main(cases=cases, rounds=args.rounds, output=args.output)
except RuntimeError as e:
# 例如 API Key 未设置:给出清晰的人类可读错误,而非原始 traceback
print(f"\n[错误] {e}", file=sys.stderr)
sys.exit(1)