用coze搭一个问卷设计专家

我是谁

作为一名用户研究员，我的主要工作是结合公司和业务背景进行用户调研，挖掘用户需求，解决业务问题。

因为对ai很感兴趣，近一年一直致力于研究怎么用ai来帮助提高工作效率(摸鱼)，起初是通过prompt对大语言模型进行调教（这里要感谢生财的各位大佬们的分享，很多调教和使用技巧都是在生财学到的干货），随着agent的出现，发现通过设置工作流，可以完成一系列复杂的工作，从而使效率翻倍（摸鱼时间更长更快乐），尝试着将自己的工作经验和思想复制到一个 AI 中，创造出一个具有我个人经验的智能体

为什么做这个

这篇内容分享的主要是我日常工作中经常涉及到的一部分：设计调研问卷，这项工作非常适合使用像 Coze 这样的流程化方式来处理。

目前看到的市面上已有的一些ai自动生成调研问卷的产品，更多是把调研问题发散性地罗列出然后堆砌生成，至于为什么从一堆问题里选a来问而不选b，这背后应该有一个明确的逻辑。问卷设计远不止于简单地收集问题，它是一项需要深入理解业务需求和精心策划的科学工作。

基于过去的经验，我开发了一个专门用于需求分析和问卷设计的AI助手。这个AI助手目前仅在我的团队中使用，与传统人工方法相比，我们的工作效率提高了40%到50%。但仍有些类似结果不稳定，暴露提示词等小问题会时不时出现。

在这里分享我的经验和在制作过程中遇到的问题，希望能够对大家有所帮助，特别是那些希望通过AI提高工作效率的朋友们

设计灵感

在看到《谁是卧底》中关于 multi agents 的设置方法后，灵机一动觉得这种模式也适合用来帮我完成问卷设计的一系列工作，虽然multi agents 需要根据用户输入进行跳转，但我们可以将问卷设计的不同环节，如需求沟通、方案设计和具体问卷拆解，分别交由不同的 bot 来执行。尽管听说 multi agents 的跳转可能不太稳定，但我仍然想先制作一个可运行的初版，帮助提高实际工作中的效率。

接下来，我将详细描述使用 Coze 完成问卷设计的步骤和细节，供大家参考。

主要设计思路

主要设置了4个bot，基于我在实际工作中的经验，将整个问卷设计的前后流程拆分成这三大类环节：需求沟通、方案设计、具体问卷设计。

一、需求沟通：

在这个环节中，需要明确业务方提出需求的背景和目的。这个过程的关键是帮助业务方确认后续的工作方向，以及明确调研的核心议题。

二、方案设计：

在确认核心要解决的议题后，将核心议题拆解为若干个子问题方向，以便进行更具体的研究。

三、具体问卷设计：

这个环节涉及到问卷题目的设计、选项的设置、逻辑关系的构建等。

对于整体设置来说，输出稳定的关键是在bot和workflow间调用和赋值全局变量，以便在多轮回合中共享这些值。

第一个agent：需求理解专家

主要使用功能：workflow、LLM

设置思路：第一个 Agent 扮演着"需求理解专家"的角色，其主要目的是通过与用户的对话，深入了解用户提出的调研业务背景。在这个环节里列举了一些问题库，以便在需求沟通时获取更多信息。

为了避免无休止地提问，我在外层 agent的提示中设置了判断条件。如果用户不愿意继续详细描述或对某个业务方面不了解，可以直接总结并将结果信息传递给下一个 agent。

第二个agent：需求挖掘

主要使用功能：LLM

主要作用：第二个 Agent 扮演着"需求挖掘"的角色。在详细了解调研相关背景后，这个 Agent 将结合调研目的，深入挖掘理解调研的核心目的，帮助确认应该关注哪些调研核心议题。

设置思路：这部分工作在需求沟通中至关重要。对于用户研究员来说，这需要一定的能力。比如需要理解前因后果，明确为何产生了当前的问题或需求，以及获得什么样的调研结果会被认为达到了调研目的。此外，还要了解当前问题的解决方案以及现有解决方案的不足之处。

给了较多的案例让他学习并提炼这些方法和技巧，但是大量的文字也影响到了理解和输出的稳定性，看到有伙伴说可以用代码把案例封装起来，懂这方面的伙伴可以试试，希望也来教教我呀

效果与思考：实际使用效果只能说是凑合，对于业务理解较深的人来说，agent 提出的问题可能不总是着重于关键点。

遇到的问题：需求的深挖过程中，发现与用户的对话有时会变得过于详细，甚至有些"打破砂锅问到底"。为了改善这一点，在对话设置上进行了条件补充：当用户表示不清楚他们的提问时，就不再过多询问，以避免让用户感到不耐烦。

第三个agent：议题拆解

设置思路：在确认了调研的核心议题之后，下一步是对这些议题进行细致的拆解，在知识库中准备了一系列的方法论、常用主题的拆解框架以及相关案例，供 Agent 学习和理解。

为了确保分析的实用性，我在提示词的最后特别强调了下分析框架需要结合前面第一个agent中获取到的业务背景，以免生成的结果过于偏理论，确保我们的分析能够紧密贴合实际要解决的业务问题

问题：尽管 Agent 能够进行议题拆解，但生成的子议题的专业性仍然无法与拥有多年实战经验的专业人士相媲美。目前，Coze 生成的答案更多地反映了发散性思维，缺乏必要的逻辑性。虽然这对于脑暴来说可能有一定的帮助，但为了提高专业性，后续打算投喂更多专业的分析问题模型和实例，来让它学习

第四个agent：问卷设计

最后一个agent的功能是设计问卷，这个agent主要用了工作流的方式，因为发现将任务的颗粒度拆分得越细，生成的问卷效果越好，也越能贴近当前的调研业务。

外层 Agent 的提示词着重强调了与设计问卷相关的身份和指令。

问卷生成这一大任务在workflow中拆分成了以下几个环节：

调研维度思考：根据上一环节生成的各个子议题，思考每个议题可以展开的调研维度。这些维度需要能够解答实际的业务问题。

2、问题设计：针对每个调研维度设计问卷问题。确保问题表述专业，并符合问卷设计的原则

3、选项设计：对于每个问题，进一步设计选项。确保选项的质量，以便更好地满足调研需求

workflow的设计调整过程：

起初设计的是：

第一个环节负责直接根据前期生成的调研子议题来设计展开的调研维度。
第二个环节是针对维度设计问卷问题和选项。

然而实际测试的过程中遇到了一些问题：

问题删减和选项简单：
1. 在 LLM1 到 LLM2 的迭代中，生成的题目会有删减，并且选项变得简单
问题表述不专业：
1. 要求 LLM2 中的问题全部引用保留 LLM1 中的，但由于生成的问题表述不够专业，用户难以回答。
2. ------解决方法是给出标准的优秀问卷案例。
3. 此外，LLM2 中生成的内容并不是对调研议题的拆分，而是直接生成了选项。
4. ------解决方法是给出拆分的示例，要求按照规定的格式输出。
知识库问题：
1. 尝试将知识库用在 workflow 中，但发现这相当于检索功能，而非学习功能（知识库用在workflow会相当于检索功能，用在bot里才会有学习的功能）。
2. 解决方法包括用代码生成变量、放进 prompt 中，或者将知识库放到外层大模型中。然而，这些方法都存在一定的问题，如文字变多影响稳定性等。最终解决办法是在 bot 中嵌入使用工作流，同时在外层 bot 的 prompt 中清楚地说明各项参数的含义和如何调用知识库。

（看看我是多么卑微)

最后的一些感想：

在使用 Workflow 或 Multi Agent 时，将整个工作流程拆分成许多小环节，这种方法有助于管理复杂任务，但也有可能导致信息丢失，因为每个环节的输出都会影响下一个环节的输入。整体效果相乘后效果是打了很多折扣的。

特别是在那些容错性不高的业务中，如果一个环节出现了问题或偏差，它可能会影响整个项目的最终产出。因此，关键在于明确地定义每个任务的关键环节。如果我们追求最佳效果，最好的方法可能还是逐个环节地完成任务，然后进行人工审核和修改。不要期望系统一次性就能生成完美的最终结果。

后续计划：

受吴恩达老师在Agent 工作流中分享内容的启发，打算对这个bot再做一步完善，加入一个负责反思的bot，这个bot的目的是审视整个问卷设计过程，从中学习并提出改进意见。