大模型 json格式 修复

随着大模型应用越来越多,大模型返回的json应用也增多,这些json 时不时会出现破损。 如何修复json串,成为大模型应用要处理的一个问题。

工具

在网上看到这库,试了下效果不错。这是个js库,用typescript写的,可以前端调用;也可以用pythonmonkey 在python 中调用。其原理是BNF解析器,使用解析器的规则修复json格式问题。

安装

js 复制代码
$ npm install jsonrepair

import { jsonrepair } from 'jsonrepair'
try {
const json = "{name: 'John'}"
const repaired = jsonrepair(json)
console.log(repaired) // '{"name": "John"}'
} catch (err) {
console.error(err)
}
python 复制代码
pip install pythonmonkey

import pythonmonkey
jsonrepair = pythonmonkey.require('jsonrepair').jsonrepair
json = "[1,2,3,"
repaired = jsonrepair(json)
print(repaired) 
# [1,2,3]

能修复哪些问题

  • 在缺少的键周围添加引号
  • 添加缺少的转义字符
  • 添加缺失的逗号
  • 添加缺失的右括号
  • 修复截断的 JSON
  • 将单引号替换为双引号
  • "..." 用常规双引号替换特殊引号字符
  • 用常规空格替换特殊空格字符
  • 将 Python 常量NoneTrueFalse替换为nulltruefalse
  • 删除尾随逗号
  • 删除类似/* ... */和的评论// ...
  • 带围栏的代码块,如 ```json和```````````
  • 删除数组和对象中的省略号,例如[1, 2, 3, ...]
  • 删除 JSONP 符号,例如callback({ ... })
  • 从转义字符串中去除转义字符,例如{"stringified": "content"}
  • 删除 MongoDB 数据类型,如NumberLong(2)ISODate("2012-12-19T06:01:17.171Z")
  • 连接字符串,例如"long text" + "more text on next line"
  • 将换行符分隔的 JSON 转换为有效的 JSON 数组,例如:
json 复制代码
{ "id": 1, "name": "John" }
{ "id": 2, "name": "Sarah" } 

网上demo

我测试的情况如下,// 注释,另起一行就可以修复,在同一行的就处理不了。

arduino 复制代码
{
  'firstName': 'John'
  lastName: "Smith"
  fullName: John Smith,
  // 这是一个另  
    scores: [ 7.8 6.3 7.3, ],
  "about": "John loves a challenge, "
// 这是一个另 }

处理有问题:

arduino 复制代码
{
  'firstName': 'John'
  lastName: "Smith"
  fullName: John Smith, // 这是一个另  
    scores: [ 7.8 6.3 7.3, ],
  "about": "John loves a challenge, "
// 这是一个另 }

类似库

相关推荐
charlee443 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
EdisonZhou5 小时前
多Agent协作入门:群聊编排模式
llm·aigc·.net core
SEO_juper8 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
同志们10 小时前
LiteLLM Go: 多平台LLM客户端统一接口实现
llm·go
Q同学10 小时前
SciMaster:无需微调,在人类最后考试上刷新 SOTA
人工智能·llm·agent
聚客AI11 小时前
🚀深度解析Agentic RAG:如何突破模型的知识边界
人工智能·llm·掘金·日新计划
fouryears_2341712 小时前
什么是JSON,如何与Java对象转化
java·spring boot·spring·json
程序员编程指南13 小时前
Qt XML 与 JSON 数据处理方法
xml·c语言·c++·qt·json
青Cheng序员石头14 小时前
【转译】Agentic AI 与 AI Agent:五大差异及其重要性
llm·aigc·agent
青Cheng序员石头14 小时前
Prompt Engineering vs Vibe Coding vs Context Engineering
langchain·llm·aigc