两份名录里的同名机构,主键该怎么合并

手上有两份带机构名称的名录,要合成一张能分析的表,最先遇到的往往不是技术问题,而是一个判断:这两个名字一样的条目,到底是不是同一个观测对象。同名不等于同一家。同一个名字可能对应不同地区的两个独立实体;同一家机构也可能以全称、简称、曾用名、外文译名或带括号说明的形式出现。合并要判断的是两条记录是否指向同一个对象,而不是名字像不像。名称相似只能提示这里值得比较,不能作为自动合并的理由,确认关系最终要落到具体字段和可回溯的依据上。

编号什么时候才算确认依据

两边都有登记编号时,先比编号,但编号本身要过两道检查。一是两边编号属于同一编号体系,不同体系的码值放在一起比没有意义;二是码值经过核验,比如长度、字符集、校验位,以及和机构类型、地区字段是否自洽。只有同一体系且核验通过的相同编号,才可作为确认同一条记录的依据。

即便如此,同码仍可能出错:码值可能是录入错误,地方自建编号也可能撞号。所以确认记录里要写清依据字段和来源,便于回溯复核,不能因为同码就停止核对。编号不同也不足以否认同一个实体,常见三种情形:某一侧不提供编号;编号字段填写错误,或地方自建编号混在同名字段里;两侧编号体系不同因而不可比。这三种情形都要在确认记录里写明,不能靠"编号不同"一句话带过。

编号匹配还要看清两边是否有号。只有一边带号,就不能做编号匹配,只能走名称、地区与其他字段的候选路线;两边只有部分记录带号时,只在都有号、同体系且核验通过的那部分做编号匹配,其余另行处理。

归一、分块与无号记录的回查

没有共同编号时,先归一再比较。归一包括处理空格、标点与全半角,把括号内补充说明、常见后缀和层级词单独存放,并把地区、地址、机构类型整理成可比字段。归一只让比较稳定,不产生同一性结论。

候选生成要说明范围。无编号的条目可以放在同一地区的块内生成候选;跨地区记录如果只靠名称,不能因为地区字段不同就直接判为不同实体,需要另给一条回查路线,比如按地址、曾用名或别名、上级单位另行核对,并写进方案。分块只是为了缩小比较量,分块字段写错的记录会被漏掉,所以分块规则要随结果一起记录。

假设一份名录给出机构全称与登记编号,另一份只有部分记录带编号,其余只有简称与地区。先确认两边编号同体系并对码值做过核验,再只对两边都有号的记录做编号匹配,得到一批确定合并;一侧无号的记录按地区分块,比较归一后的名称,名称相近的放进候选关系并标注依据字段;地区字段不同的记录不直接判为不同,另按地址或曾用名走一条回查路线。此为假设场景,不含真实机构与命中比例。

确定合并与候选关系要分两列

比较之后输出两类结果,分两列存放。确定合并指依据足够明确、可以指定同一主键;候选关系指两条记录很可能相关但依据不足以判定,需要人工确认并标注依据字段。相似度得分只能用于排序,不能说明是同一实体;设不设得分界限、界限取多少属于执行取舍,界限高低会改变漏判与误判的分布,究竟偏向哪一侧要看这批数据的得分分布和可用的对照,不能先验断言。

两类错误的代价通常不对称:把同一实体拆成两条,后果偏保守;把两个不同实体合成一条,属性混在一起后很难从结果上看出问题。但这不等于漏合并一定容易被发现------缺少可对照的第三方清单时,漏合并可能长期不被察觉。所以不确定的情形更适合放进候选关系,写清依据字段与待确认项。

主键要跟分析单位对齐

主键还要和分析单位一致:分析单位是法人、场所还是集团,决定了总部与分支机构该合并还是分开,更名前后、上下级单位也属于需要显式判断的情形。合并结果建议保留一张别名表,记录归到哪个主键、依据哪些字段、由谁在何时确认;原始记录不删除,只增加映射。

落到需求表述上,可以这样写:主键字段与分析单位是什么;编号匹配的前提是同体系加核验,并说明核验了哪些码值特征;归一与分块规则如何定、分块字段是什么;无号条目在同地区块内生成候选,跨地区记录走哪条回查路线;确定合并与候选关系分两列输出;别名表与确认记录如何留存;原始记录保留不动。这样写出来的方案,别人拿到后能沿着依据字段逐条复核,而不是只看到一个合并后的结果。

相关推荐
海宇数据1 小时前
零信任架构实战:基于海宇双人婚姻评估查询构建自动化配偶签约一致性审查网关
人工智能·ai·工具分享
悟天特斯1 小时前
安防一体化:从“各管各的“到“全局联动“
java·大数据·网络·人工智能·物联网
l1t1 小时前
DeepSeek总结的AI 智能体应该用哪种语言搜索其记忆:SQL 还是 SPARQL?
数据库·人工智能·sql
霸道流氓气质1 小时前
AI 翻译插件:翻译记忆级联复用、术语混合检索与结构化质量门禁的 Vue3 + Spring AI 生产级实战
java·人工智能·spring
克莱斯勒ya1 小时前
机器人官网及机器人相关设计学习视频下载
人工智能
yangmu32031 小时前
把 AI 智能体接入 PLC 程序:从“能跑”到“敢用”的实战教程
人工智能
甲维斯1 小时前
冷知识:国模又慢又贵,洋模又快又便宜!
人工智能
AI模型调用笔记1 小时前
Copilot Fusion:用 Python 跑通模型级联
人工智能·驱动开发·语言模型·copilot
乌恩大侠1 小时前
从真实 5G 网络采集 AI 训练数据:基于 NVIDIA Aerial Data Lake 构建 AI-RAN 数据平台
网络·人工智能·5g·aerial·o-ru·ai-ran