大模型不听话？试试提示词微调

想象一下，你向大型语言模型抛出问题，满心期待精准回答，得到的却是答非所问，是不是让人抓狂？在复杂分类场景下，这种"大模型不听话"的情况更是常见。

提示词微调这一利器，能帮你驯服大模型，让其准确输出所需结果。

今天就来深入解析如何通过提示词工程、RAG 增强和 Few Shots 学习等核心技术，高效构建基于 LLM 的分类系统。

分类系统架构设计

graph TD A[输入文本] --> B[提示工程] C[类别定义] --> B D[向量数据库] --> E[RAG增强] F[Few Shots示例] --> B B --> G[LLM推理] G --> H[结果提取]

分类系统的核心流程围绕提示工程展开，结合 RAG 增强和 Few Shots 学习可显著提升分类准确性。系统设计需关注数据流转效率与结果可解释性，特别适合保险票据、客户服务工单等高价值场景。

提示工程核心技巧

提示设计是 LLM 分类性能的关键，以下是经过实战验证的核心技巧：

1. 结构化表示法

采用 XML 或 JSON 格式封装类别定义和输入文本，提升模型理解效率：

shell 复制代码

# 类别定义示例
<categories>
    <category>
        <label>账单查询</label>
        <description>关于发票、费用、收费和保费的问题</description>
    </category>
    <category>
        <label>政策咨询</label>
        <description>关于保险政策条款、覆盖范围和除外责任的问题</description>
    </category>
</categories>

# 输入文本
<content>我的保险费为什么比上个月高了？</content>

2. 边界控制与结果约束

通过明确的指令和停止序列控制模型输出范围：

shell 复制代码

请根据提供的类别，对输入文本进行分类。
- 只需返回类别标签，不添加任何解释
- 如果无法分类，请返回"其他"

类别: [账单查询, 政策咨询, 理赔申请, 投诉建议, 其他]
输入: 我想了解我的保险是否涵盖意外医疗费用
输出:

3. 思维链提示

对于复杂分类任务，引导模型逐步思考：

shell 复制代码

我需要对客户的问题进行分类。首先，我会分析问题的核心内容，然后匹配最相关的类别。

客户问题: "我的汽车保险理赔需要提供哪些材料？"
分析: 这个问题是关于理赔过程中所需的材料，属于理赔相关的咨询。
类别匹配: 理赔申请
最终分类: 理赔申请

Few Shots 学习技术

Few Shots 学习通过提供少量示例，帮助模型快速适应特定任务：

1. 示例选择策略

shell 复制代码

# 选择多样化示例覆盖主要类别
示例1:
输入: "我的账单金额有误"
分类: 账单查询

示例2:
输入: "我想更改我的保险受益人"
分类: 政策变更

示例3:
输入: "我的车辆在事故中受损，如何申请理赔？"
分类: 理赔申请

2. 示例排序优化

shell 复制代码

# 按与输入的相关性排序示例
1. 最相关示例
输入: "我的保险费为什么上涨了？"
分类: 账单查询

2. 次相关示例
输入: "我想了解我的保险 coverage"
分类: 政策咨询

RAG 增强技术应用

检索增强生成(RAG)通过引入外部知识提升分类准确性：

1. 向量数据库构建与检索

shell 复制代码

# 1. 准备知识库文档
文档1: 保险理赔流程指南
文档2: 保险政策条款解释
文档3: 常见账单问题解答

# 2. 构建向量数据库
为每个文档创建嵌入向量并存储

# 3. 检索相关文档
对于输入文本，检索最相关的2-3个文档片段

2. 检索结果融合提示

shell 复制代码

# 结合检索结果和输入文本进行分类
检索到的相关信息:
[来自文档3] 常见账单问题包括费用上涨原因、账单错误等

输入文本: 我的保险费为什么比上个月高了？

请根据以上信息，将输入文本分类到以下类别之一:
[账单查询, 政策咨询, 理赔申请, 投诉建议, 其他]

技术整合示例

以下是整合提示词工程、RAG 技术和 Few Shots 学习的完整分类系统伪代码：

python 复制代码

# 整合分类系统实现
class LLMClassifier:
    def __init__(self, llm_client, vector_db):
        self.llm_client = llm_client
        self.vector_db = vector_db
        self.categories = self._load_categories()
        self.few_shot_examples = self._load_few_shot_examples()

    def _load_categories(self):
        # 加载类别定义
        return {
            "账单查询": "关于发票、费用、收费和保费的问题",
            "政策咨询": "关于保险政策条款、覆盖范围和除外责任的问题",
            "理赔申请": "关于理赔流程、材料和状态的问题",
            "投诉建议": "对服务、流程或结果的投诉和建议",
            "其他": "无法分类到以上类别的问题"
        }

    def _load_few_shot_examples(self):
        # 加载Few Shots示例
        return [
            {"input": "我的账单金额有误", "label": "账单查询"},
            {"input": "我想更改我的保险受益人", "label": "政策咨询"},
            {"input": "我的车辆在事故中受损，如何申请理赔？", "label": "理赔申请"}
        ]

    def _retrieve_relevant_docs(self, query, top_k=2):
        # RAG检索相关文档
        return self.vector_db.search(query, top_k=top_k)

    def _build_prompt(self, query, relevant_docs):
        # 构建整合提示
        prompt = """
        任务：将客户问题分类到以下类别之一：{categories}

        类别定义：
        {category_definitions}

        相关知识：
        {relevant_knowledge}

        示例：
        {few_shot_examples}

        请按照以下步骤分类：
        1. 分析客户问题的核心内容
        2. 结合相关知识和示例，匹配最相关的类别
        3. 只返回类别标签，不添加任何解释

        客户问题："{query}"
        分类结果：
        """

        # 填充模板
        categories_str = ", ".join(self.categories.keys())
        category_definitions = "\n".join([f"- {k}: {v}" for k, v in self.categories.items()])
        relevant_knowledge = "\n".join([f"- {doc}" for doc in relevant_docs])
        few_shot_examples = "\n".join([f"输入: \"{ex['input']}\"\n分类: {ex['label']}" for ex in self.few_shot_examples])

        return prompt.format(
            categories=categories_str,
            category_definitions=category_definitions,
            relevant_knowledge=relevant_knowledge,
            few_shot_examples=few_shot_examples,
            query=query
        )

    def classify(self, query):
        # 1. RAG检索相关文档
        relevant_docs = self._retrieve_relevant_docs(query)

        # 2. 构建整合提示
        prompt = self._build_prompt(query, relevant_docs)

        # 3. LLM推理
        response = self.llm_client.generate(
            prompt=prompt,
            max_tokens=100,
            temperature=0.0
        )

        # 4. 提取结果
        result = response.strip()
        return result if result in self.categories else "其他"

# 使用示例
if __name__ == "__main__":
    # 初始化LLM客户端和向量数据库
    llm_client = initialize_llm_client()  # 初始化LLM客户端
    vector_db = initialize_vector_db()   # 初始化向量数据库

    # 创建分类器
    classifier = LLMClassifier(llm_client, vector_db)

    # 测试分类
    test_queries = [
        "我的保险费为什么比上个月高了？",
        "我想了解我的保险是否涵盖意外医疗费用？",
        "我的汽车保险理赔需要提供哪些材料？"
    ]

    for query in test_queries:
        category = classifier.classify(query)
        print(f"查询: {query}\n分类结果: {category}\n")

通过以上核心技术的综合应用，可构建高效、准确的 LLM 分类系统，为保险、金融、客服等领域的文本分类需求提供强大解决方案。

nine｜践行一人公司 | 🛰️codetrend

正在记录从 0 到 1 的踩坑与突破，交付想法到产品的全过程。