工具调用节点基础介绍
工具调用节点可让大语言模型(LLM)动态决策工作流流程,不采用固定流程。工具可以是系统模块,如AI对话、知识库搜索、HTTP请求模块,也可以是插件。工具的组成包含两部分:工具介绍,用于告知LLM工具的作用;工具参数,系统模块的参数固定无需额外配置,插件的参数可自定义配置。工具运行需要工具介绍与工具参数,LLM会结合两者判断是否调用工具。
工具调用节点的配置步骤
在FastGPT高级编排页面中,拖动工具调用节点的连接点,可用工具的头部会出现菱形标记。将该菱形与工具调用模块底部的菱形连接,被连接的工具会自动分离工具输入与普通输入。点击节点可编辑工具介绍,通过调整介绍精准控制工具调用时机。调试时建议不要一次性添加过多工具,先选择少量工具完成调优后再扩展配置。
运行逻辑与使用边界
工具调用的参数包含参数介绍与是否必须两个关键值。无参数的工具可直接根据介绍判断是否调用;有参数的工具中,无必须参数时LLM可能伪造参数调用,有必须参数时若未获取合适参数,LLM可能不会调用该工具。在支持函数调用的模型中,可一次性调用多个工具。 工具调用节点默认会将工具运行结果返回给AI,由AI总结后输出。若无需AI进一步总结,可将节点接入工作流末尾。工具调用终止节点可接在工具后,执行到该节点时会强制结束本次工具调用,不再调用其他工具或触发AI总结。自定义工具变量可扩展工具的变量输入,为未被视作工具参数的节点添加参数描述,让工具调用节点关联对应节点并执行后续工作流。工具调用会消耗更多tokens,这是其使用的缺点。
来源:FastGPT 官方文档