教程官方文档2 分钟阅读教程/部署

FastGPT应用评测任务的创建与结果查看方法

FastGPT v4.11.0版本开始支持应用批量评测功能,该功能通过传入多组问答对,自动对目标应用的执行结果进行打分,实现应用运行效果的定量评估。当前测试版仅支持回答准确性一项评估指标,其余指标将在后续版本中补充完善。 1. 进入工作台下的应用评测目录,点击右上角的「创建任务」按钮; 2.

功能概述

FastGPT v4.11.0版本开始支持应用批量评测功能,该功能通过传入多组问答对,自动对目标应用的执行结果进行打分,实现应用运行效果的定量评估。当前测试版仅支持回答准确性一项评估指标,其余指标将在后续版本中补充完善。

创建评测任务步骤

  1. 进入工作台下的应用评测目录,点击右上角的「创建任务」按钮;
  2. 在创建页面填写评测任务名(任务标识名称)、评测模型(本次任务打分使用的模型)、评测应用(需要被打分的目标应用);
  3. 选择评测应用后,点击下载CSV模板,模板包含全局变量、q(问题)、a(标准答案)、历史记录字段,需严格按照模板格式填写,单次任务最多支持1000组问答对;
  4. 上传填写完成的文件后点击「开始评测」,即可创建应用评测任务。

查看评测结果

评测列表页面展示所有已创建的任务,包含进度、执行人、评测应用名称、开始/结束时间、综合评分等关键信息,可通过这些信息对比应用每次改进后的效果。点击「查看详情」可进入任务详情页,顶部为任务概览,展示评测配置和统计结果;页面下方的详细结果区域,会展示每条问答对的用户问题、标准输出、应用输出及对应评分。

来源:https://doc.fastgpt.cn/zh-CN/guide/build/evaluation