文章目录
-
-
- 1.数据质量和隐私保护
- [2 选择合理部署方案降低训练和推理成本](#2 选择合理部署方案降低训练和推理成本)
- [3 如何满足严苛的合规要求](#3 如何满足严苛的合规要求)
-
- [3.1 大模型在开发和应用时的风险防控](#3.1 大模型在开发和应用时的风险防控)
- [4 时效性如何保证](#4 时效性如何保证)
- [5 如何让模型具备一定的可解释性](#5 如何让模型具备一定的可解释性)
-
- 金融领域使用大模型时会遇到哪些挑战？
- 大模型在开发应用上线各个解决需要防范哪些风险？
- 为什么大模型可以做量化？
- 如何让大模型具备一定的可解释性？
1.数据质量和隐私保护
- 大量结构化和非结构化数据
- 自动化搜集清洗数据，尽可能消除信息孤岛。
- 金融数据高度敏感，且受严格的隐私法规限制
- 数据训练时需要严格脱敏满足合规要求
2 选择合理部署方案降低训练和推理成本
- 公有云 VS 私有云
- 闭源大模型(GPT系列) VS 开源大模型(Fin-GPT,Llama系列)
- RAG,LoRA,P-Tuning
3 如何满足严苛的合规要求
-
《个人信息保护法》
金融机构在使用大模型时必须确保用户的个人信息得到妥善保护，避免未经授权的数据收集和使用。任何涉及到用户数据的处理都需遵循透明性原则，确保用户知情并同意。
-
《生成式人工智能服务管理暂行办法》
金融机构需要对生成内容进行标记，并承担相应的合规义务。这包括对大模型生成的信息进行审核，以防止虚假或误导性内容的传播。
金融机构需对所使用的算法进行备案，并定期进行安全评估。
-
评估偏见和不公正影响
大模型在金融应用中必须经过全面的伦理审查，以评估其潜在的偏见和不公正影响。金融机构需确保其技术应用符合社会伦理标准，不损害消费者权益。
3.1 大模型在开发和应用时的风险防控
数据采集和预处理 -> 模型微调->模型部署->模型推理
数据采集和预处理
- 数据版权
- 用户授权
- 敏感数据脱敏
模型微调
- 模型评测
- 安全评估
- 模拟攻击测试
- 合规审查
- 伦理审查
模型部署
- 敏感词检测
- 用户输入防御
模型推理
- 关键词匹配过滤
- 训练专有风险识别模型
4 时效性如何保证
-
合理选择模型参数大小
-
模型量化(FP32 量化 int8 去量化 FP32)
-
合理选择模型参数大小
-
多层次模型结构(轻量化模型+复杂模型)
-
缓存与预计算(缓存标准化请求+低频更新场景离线计算)
5 如何让模型具备一定的可解释性
-
要模型生成解释
-
让模型的输出与外部知识库或数据源挂钩,以提供依据(RAG)
-
结合传统机器学习模型例如决策树提高可解释性(金融大模型->多纬度因子->决策树)