数据治理之考评环节

考评的流程(批处理)

  1. 周期调度,每天一次:采集hive, hdfs元数据
  2. 存放到mysql中的dga库的metainfo表
  3. 手动通过管理页面补充辅助信息
  4. 指标考评
    • 读取要考评的表的元数据及辅助信息
    • 读取要考评的指标
    • 对每张表的每个指标逐个进行考评
    • 保存考评结果

代码生成后

每个service和mapper包里面的类都需要加@DS("dga")

bean对象里面的字段不是平铺的

这个问题可以转换为,查询结果如何封装到一个有父子嵌套的对象中,需要借助xml来配置映射关系。

  1. 要把父子对象中同名的字段进行重命名,避免混淆
  2. @ResultMap用来关联xml的映射文件
  3. xml 来描述子对象的属性映射
  4. auto_mapping可以帮助省略所有蛇型和驼峰格式的映射
  5. application.properties中要声明xml位置和auto_mapping范围
  6. 把xml拷贝到resource下的mapper目录

表格

靠左的是字符串,靠右的是数字

设计模式

  1. 对扩展开放,对修改关闭
  2. 面对各种需求变更,代码变化
  3. 尽量增加类,而不是修改已有的类

能否通过字符串动态的加载某个类的实例并调用他的方法

  1. 反射
  2. spring容器动态装载
  3. 创建一个springBeanProvider类
  4. 实现ApplicationContextAware接口
  5. 接收框架的applicationContext到本地变量中
  6. 然后在getBean方法中可以根据组件名称和类名来发放组件
  7. 整个provider添加一个@Component注解
相关推荐
市象31 分钟前
卡萨帝高端二十年,难靠冰洗再独秀
大数据·智能家居
Georgeviewer1 小时前
数字化工程落地复盘:通用SaaS架构的本地化缺陷与自研系统最优解|皖禾数智实战
大数据·人工智能·架构
2601_949816162 小时前
EasyMarkets:经纪商平台综合实力的理性评估
大数据
财复视界2 小时前
科源制药医药主业筑基,脑机接口与具身智能打开成长空间
大数据·人工智能·物联网
shujudang2 小时前
业务闭环视角下的营销自动化(MA)平台选型逻辑
大数据·运维·数据分析·自动化·营销自动化
Lottie20264 小时前
跨境反向出海三大运营痛点:采购繁琐、集运混乱、多语言适配解决方案
大数据·自动化
hkNaruto4 小时前
【大数据】Demo 城市供水管网智能监控系统——演示程序详细需求规格说明书
大数据·规格说明书
互联网科技看点5 小时前
2026智能柜公司预约指南 3步选到适配靠谱品牌
大数据·人工智能
昌旭咨询5 小时前
2026国内知名的CS认证咨询机构有哪些?企业该如何选择?
大数据·数据库·人工智能