数据治理之考评环节

考评的流程(批处理)

  1. 周期调度,每天一次:采集hive, hdfs元数据
  2. 存放到mysql中的dga库的metainfo表
  3. 手动通过管理页面补充辅助信息
  4. 指标考评
    • 读取要考评的表的元数据及辅助信息
    • 读取要考评的指标
    • 对每张表的每个指标逐个进行考评
    • 保存考评结果

代码生成后

每个service和mapper包里面的类都需要加@DS("dga")

bean对象里面的字段不是平铺的

这个问题可以转换为,查询结果如何封装到一个有父子嵌套的对象中,需要借助xml来配置映射关系。

  1. 要把父子对象中同名的字段进行重命名,避免混淆
  2. @ResultMap用来关联xml的映射文件
  3. xml 来描述子对象的属性映射
  4. auto_mapping可以帮助省略所有蛇型和驼峰格式的映射
  5. application.properties中要声明xml位置和auto_mapping范围
  6. 把xml拷贝到resource下的mapper目录

表格

靠左的是字符串,靠右的是数字

设计模式

  1. 对扩展开放,对修改关闭
  2. 面对各种需求变更,代码变化
  3. 尽量增加类,而不是修改已有的类

能否通过字符串动态的加载某个类的实例并调用他的方法

  1. 反射
  2. spring容器动态装载
  3. 创建一个springBeanProvider类
  4. 实现ApplicationContextAware接口
  5. 接收框架的applicationContext到本地变量中
  6. 然后在getBean方法中可以根据组件名称和类名来发放组件
  7. 整个provider添加一个@Component注解
相关推荐
TDengine (老段)18 分钟前
TDengine 脱敏函数用户手册
大数据·服务器·数据库·物联网·时序数据库·iot·tdengine
鹧鸪云光伏1 小时前
一屏藏万象,智护光能源 —— 鹧鸪云电站大屏赋能新篇
大数据·能源·光伏
Hello.Reader1 小时前
写给生产环境的 Flink 内存配置Process Memory、TaskManager 组件拆解与场景化调优
大数据·flink
Dxy12393102162 小时前
告别重启!Elasticsearch 8.10 杀手级特性:动态同义词(Dynamic Synonyms)深度解析
大数据·elasticsearch·jenkins
宇神城主_蒋浩宇2 小时前
最简单的es理解 数据库视角看写 ES 加 java正删改查深度分页
大数据·数据库·elasticsearch
小小王app小程序开发3 小时前
盲盒随机赏小程序核心玩法拆解与运营逻辑分析
大数据·小程序
许国栋_3 小时前
产品管理系统怎么选?2026主流工具横评、场景适配与避坑
大数据·安全·阿里云·云计算·团队开发
说私域3 小时前
AI智能名片链动2+1模式小程序在消费者商家全链路互动中的应用研究
大数据·人工智能·小程序·流量运营·私域运营
newsxun3 小时前
申晨案例解析:解码猫王如何从情怀走向现象级品牌的“熊猫罗盘”重塑之路
大数据·人工智能
你喜欢喝可乐吗?3 小时前
大数据生活实例故事
大数据